読み・ふりがな文脈推定タガー
japan-opendata/ja-reading-tagger-v1
日本語の文に、文脈に合った「読み」を付けるための小型タガーです。生成型の書き換えではなく、原文の文字位置(スパン)ごとに、表記読み(ルビ用)と発音読み(読み上げ用)を返します。読みが文脈で変わる同形異音語について、辞書方式では決められない文脈判定を行う部品として作りました。人名の読みは対象外です。
対象は、読みが文脈で変わる同形異音語(例:「人気」「上手」「明日」など、カタログ135語・289読み)です。推論に必要なカタログ情報や発音変換マップは同梱の inference_config.json と pron_map.json に含まれていて、単体で動作します。人名の読みは対象外です。
クイックスタート
参照実装 examples/reading_tagger.py が PyTorch と ONNX の両対応で同梱されています。文を受け取ると、スパン位置・表記・表記読み・発音読みの列を返します。モデルの読み込みは次のとおりです。
from transformers import AutoModelForTokenClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-reading-tagger-v1")
model = AutoModelForTokenClassification.from_pretrained("japan-opendata/ja-reading-tagger-v1")ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
文単位の読み正解率(封印テスト)
0.9354
Sudachi Mode C(辞書方式、同条件)
0.9308
同形異音語評価の正解率(文単位)
0.7230
CPU 速度(ONNX FP32)
約17.9 ms/文
ダウンロード数(HF実測、2026-11-20 時点)
0
測定条件: 封印テストは、青空文庫の実文を中心に 5,000文を集め、学習とは作品単位で分離し、最終評価は1回限りです。辞書方式の UniDic は 0.9276 でした。同形異音語だけを集めた評価セット 1,000文では、対象語単体の正解率が 0.7767(Sudachi は 0.6136)でした。ONNX 版(FP32、opset 17)は PyTorch 版と dev・封印テスト各 200件で読みが完全一致し、CPU 速度は Intel Core i7-11700F でトークナイズや発音変換を含む値です。INT8 版は同梱していません。
正直な内訳(封印テスト)
- 実文だけの正解率(このモデル): 0.9360
- 実文だけの正解率(Sudachi): 0.9432(Sudachi が僅かに上)
- 同形異音語の合成文(このモデル): 0.9187
- 同形異音語の合成文(Sudachi): 0.5563
- 同形異音語評価(パイロット版、1エポック): 0.7520(本番版 0.7230 を上回る。本番版は一般文のバランスを取った結果として、その分を少し譲っています)
仕様
- ベースモデル
- sbintuitions/modernbert-ja-130m(MIT)
- 学習データ
- 商用クリーンの材料だけで組み立てました。著作権切れ・非翻訳・新字新仮名の青空文庫テキスト、CC0 の ROHAN4600、Apache 2.0 の Qwen3 で生成し別のモデルで逆検証した合成文です。読みの正解は全件、SudachiDict(Apache 2.0)と UniDic(修正BSD)の辞書で検証しています。JMdict、Wikipedia、BCCWJ などのライセンス条件が合わない材料は使っていません
- 同梱物
- PyTorch モデルと ONNX FP32(opset 17、INT8 版はなし)、inference_config.json、pron_map.json、参照実装 examples/reading_tagger.py
- ライセンス
- Apache 2.0
制限と注意
- 人名の読みは対象外です
- 封印テストの実文だけに限ると、Sudachi が 0.9432 でこのモデルの 0.9360 を僅かに上回ります。このモデルの優位は、文脈で読みが決まる同形異音語にあります
- 同形異音語評価では、学習を軽くしたパイロット版(1エポック)が 0.7520 と本番版を上回りました。本番版は一般文のバランスを優先した結果です