← 日本語AIモデル開発支援

読み・ふりがな文脈推定タガー

japan-opendata/ja-reading-tagger-v1

日本語の文に、文脈に合った「読み」を付けるための小型タガーです。生成型の書き換えではなく、原文の文字位置(スパン)ごとに、表記読み(ルビ用)と発音読み(読み上げ用)を返します。読みが文脈で変わる同形異音語について、辞書方式では決められない文脈判定を行う部品として作りました。人名の読みは対象外です。

ライセンス Apache 2.0タスク token-classification対象 同形異音語カタログ135語・289読み言語 jaベース modernbert-ja-130m
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

対象は、読みが文脈で変わる同形異音語(例:「人気」「上手」「明日」など、カタログ135語・289読み)です。推論に必要なカタログ情報や発音変換マップは同梱の inference_config.json と pron_map.json に含まれていて、単体で動作します。人名の読みは対象外です。

クイックスタート

参照実装 examples/reading_tagger.py が PyTorch と ONNX の両対応で同梱されています。文を受け取ると、スパン位置・表記・表記読み・発音読みの列を返します。モデルの読み込みは次のとおりです。

from transformers import AutoModelForTokenClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-reading-tagger-v1")
model = AutoModelForTokenClassification.from_pretrained("japan-opendata/ja-reading-tagger-v1")

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

文単位の読み正解率(封印テスト)

0.9354

Sudachi Mode C(辞書方式、同条件)

0.9308

同形異音語評価の正解率(文単位)

0.7230

CPU 速度(ONNX FP32)

約17.9 ms/文

ダウンロード数(HF実測、2026-11-20 時点)

0

測定条件: 封印テストは、青空文庫の実文を中心に 5,000文を集め、学習とは作品単位で分離し、最終評価は1回限りです。辞書方式の UniDic は 0.9276 でした。同形異音語だけを集めた評価セット 1,000文では、対象語単体の正解率が 0.7767(Sudachi は 0.6136)でした。ONNX 版(FP32、opset 17)は PyTorch 版と dev・封印テスト各 200件で読みが完全一致し、CPU 速度は Intel Core i7-11700F でトークナイズや発音変換を含む値です。INT8 版は同梱していません。

正直な内訳(封印テスト)

仕様

ベースモデル
sbintuitions/modernbert-ja-130m(MIT)
学習データ
商用クリーンの材料だけで組み立てました。著作権切れ・非翻訳・新字新仮名の青空文庫テキスト、CC0 の ROHAN4600、Apache 2.0 の Qwen3 で生成し別のモデルで逆検証した合成文です。読みの正解は全件、SudachiDict(Apache 2.0)と UniDic(修正BSD)の辞書で検証しています。JMdict、Wikipedia、BCCWJ などのライセンス条件が合わない材料は使っていません
同梱物
PyTorch モデルと ONNX FP32(opset 17、INT8 版はなし)、inference_config.json、pron_map.json、参照実装 examples/reading_tagger.py
ライセンス
Apache 2.0

制限と注意