← 日本語AIモデル開発支援

日本語ASR句読点復元モデル

japan-opendata/ja-punct-restore-v1

句読点のない日本語テキストを受け取り、文字ごとに「なし/、/。/?/!」を予測して句読点を復元します。Whisper などの音声認識の書き起こし結果の後処理を想定しています。

ライセンス Apache 2.0タスク token-classification予測 文字ごとに5ラベル(なし・、・。・?・!)言語 jaベース modernbert-ja-130m
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

音声認識の書き起こしは句読点が弱く、そのままでは読みにくく、後段の処理にも渡しにくいことがあります。本モデルはその後処理として、句読点のないテキストから句読点を復元します。学習には実在の個人情報を含むデータを使っていません。

クイックスタート

句読点のないテキストを渡すと、復元したテキストが返ります。

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

repo = "japan-opendata/ja-punct-restore-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
model.eval()

LABELS = ["O", "、", "。", "?", "!"]  # id 0..4
PUNCT = {"COMMA": "、", "PERIOD": "。", "QUESTION": "?", "EXCLAIM": "!"}

def restore(text: str) -> str:
    enc = tok(text, return_offsets_mapping=True, add_special_tokens=False)
    with torch.no_grad():
        logits = model(input_ids=torch.tensor([enc["input_ids"]]),
                       attention_mask=torch.tensor([enc["attention_mask"]])).logits[0]
    pred = logits.argmax(-1).tolist()
    id2label = model.config.id2label
    out = []
    for ch, (start, _), p in zip(text, enc["offset_mapping"], pred):
        out.append(ch)
        lab = id2label[p]
        if lab in PUNCT:
            out.append(PUNCT[lab])
    return "".join(out)

print(restore("今日は良い天気ですね明日も晴れるといいですね"))
# 例: 今日は良い天気ですね。明日も晴れるといいですね。

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

micro-F1(封印テスト、句読点のみ)

0.8156

MCC(封印テスト)

0.8284

実ASRベンチ F1(本モデル)

0.8881

実ASRベンチ F1(Whisper の句読点つき出力)

0.6062

CPU 速度(ONNX)

16.3 ms/件

ダウンロード数(HF実測、2026-11-19 時点)

0

測定条件: 封印テスト 5,003件(学習・調整のどちらにも未使用)では Precision 0.8154、Recall 0.8157。実ASRベンチは FLEURS 日本語テスト 650発話を Whisper large-v3-turbo で書き起こし、句読点を除去して本モデルで復元し、参照文と比較したもの(本モデルは Precision 0.8537、Recall 0.9255)。速度は FLEURS 実ASR 200発話を ONNX・CPU(Intel Core i7-11700F)で測った平均です。ONNX の分類ヘッドには調整済みのバイアスが焼き込み済みで、推論側で追加の補正は不要です。

記号別の F1(封印テスト)

記号別の F1(実ASRベンチ、本モデル)

仕様

ベースモデル
sbintuitions/modernbert-ja-130m
学習データ
HuggingFaceFW/fineweb-2 の日本語サブセット(ODC-By 1.0)から作った連結ウィンドウと、合成した口語文 15,000件。実在の個人情報は不使用
同梱物
PyTorch モデルと ONNX fp32(onnx/model.onnx)
ライセンス
Apache 2.0

制限と注意