日本語ASR句読点復元モデル
japan-opendata/ja-punct-restore-v1
句読点のない日本語テキストを受け取り、文字ごとに「なし/、/。/?/!」を予測して句読点を復元します。Whisper などの音声認識の書き起こし結果の後処理を想定しています。
音声認識の書き起こしは句読点が弱く、そのままでは読みにくく、後段の処理にも渡しにくいことがあります。本モデルはその後処理として、句読点のないテキストから句読点を復元します。学習には実在の個人情報を含むデータを使っていません。
クイックスタート
句読点のないテキストを渡すと、復元したテキストが返ります。
from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
repo = "japan-opendata/ja-punct-restore-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
model.eval()
LABELS = ["O", "、", "。", "?", "!"] # id 0..4
PUNCT = {"COMMA": "、", "PERIOD": "。", "QUESTION": "?", "EXCLAIM": "!"}
def restore(text: str) -> str:
enc = tok(text, return_offsets_mapping=True, add_special_tokens=False)
with torch.no_grad():
logits = model(input_ids=torch.tensor([enc["input_ids"]]),
attention_mask=torch.tensor([enc["attention_mask"]])).logits[0]
pred = logits.argmax(-1).tolist()
id2label = model.config.id2label
out = []
for ch, (start, _), p in zip(text, enc["offset_mapping"], pred):
out.append(ch)
lab = id2label[p]
if lab in PUNCT:
out.append(PUNCT[lab])
return "".join(out)
print(restore("今日は良い天気ですね明日も晴れるといいですね"))
# 例: 今日は良い天気ですね。明日も晴れるといいですね。ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
micro-F1(封印テスト、句読点のみ)
0.8156
MCC(封印テスト)
0.8284
実ASRベンチ F1(本モデル)
0.8881
実ASRベンチ F1(Whisper の句読点つき出力)
0.6062
CPU 速度(ONNX)
16.3 ms/件
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 封印テスト 5,003件(学習・調整のどちらにも未使用)では Precision 0.8154、Recall 0.8157。実ASRベンチは FLEURS 日本語テスト 650発話を Whisper large-v3-turbo で書き起こし、句読点を除去して本モデルで復元し、参照文と比較したもの(本モデルは Precision 0.8537、Recall 0.9255)。速度は FLEURS 実ASR 200発話を ONNX・CPU(Intel Core i7-11700F)で測った平均です。ONNX の分類ヘッドには調整済みのバイアスが焼き込み済みで、推論側で追加の補正は不要です。
記号別の F1(封印テスト)
- 、: 0.7591
- 。: 0.9188(Recall 0.9364)
- ?: 0.7300
- !: 0.4884(Recall 0.3920)
記号別の F1(実ASRベンチ、本モデル)
- 、: 0.8268
- 。: 0.9806
- ? と !: 参照がほぼ無く(? 0件、! 1件)未評価
仕様
- ベースモデル
- sbintuitions/modernbert-ja-130m
- 学習データ
- HuggingFaceFW/fineweb-2 の日本語サブセット(ODC-By 1.0)から作った連結ウィンドウと、合成した口語文 15,000件。実在の個人情報は不使用
- 同梱物
- PyTorch モデルと ONNX fp32(onnx/model.onnx)
- ライセンス
- Apache 2.0
制限と注意
- 「!」の検出は弱いです(封印テストで F1 0.4884、Recall 0.3920)。感嘆符は控えめに出ます
- 実ASRベンチでは「?」と「!」の参照がほぼ無く、この2記号の実ASR性能は未評価です
- 学習データは書き言葉が中心で、口語の合成文を加えて補っていますが、崩れた話し言葉では精度が下がる可能性があります
- 句読点の復元専用です。誤字の修正や文の書き換えは行いません