日本語誤り検出モデル
japan-opendata/ja-error-detect-v1
日本語の文から、誤りのある箇所(スパン)を検出する小モデルです。修正案は出しません。「どこが怪しいか」を指すところまでが役割で、校正ツールの下検査や、入力支援の警告に組み込む想定の部品です。
検出する誤りは6種です。助詞の置換、同音異義語の誤変換、送り仮名の誤り、形の似た漢字への置換、脱字、衍字(余分な文字)。方言、文体差、口語表現は誤りとして扱いません。修正案は出さず、候補を挙げるところまでが役割です。
クイックスタート
閾値(span_mean_err >= 0.80、inference_config.json に同梱)を適用した参照実装が、同梱の examples/infer_error_detect.py にあります。基本的な使い方は次のとおりです。
from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
repo = "japan-opendata/ja-error-detect-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
model.eval()
text = "来週の会議は月曜日に行なわれます。"
enc = tok(text, return_offsets_mapping=True, return_tensors="pt")
offsets = enc.pop("offset_mapping")[0].tolist()
with torch.no_grad():
probs = model(**enc).logits.softmax(-1)[0]
err_prob = 1.0 - probs[:, 0] # ラベル 0 は正常(O)
spans = []
cur = None
for (s, e), p in zip(offsets, err_prob.tolist()):
if s == e:
continue
if p > 0.5:
if cur is None:
cur = [s, e, [p]]
else:
cur[1] = e
cur[2].append(p)
elif cur is not None:
spans.append(cur)
cur = None
if cur is not None:
spans.append(cur)
kept = [(s, e) for s, e, ps in spans if sum(ps) / len(ps) >= 0.80]
print([(text[s:e], s, e) for s, e in kept])ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
誤りスパン完全一致 F1(封印テスト)
0.8674
Precision(完全一致)
0.9094
Recall(完全一致)
0.8291
本当の誤検出(正常文、1,000文字あたり)
0.2538件
CPU 速度(ONNX FP32)
約20 ms/文
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 封印テスト 5,000件で、閾値(span_mean_err >= 0.80)は dev で事前に固定しました。正常文への誤検出は、検出された 65スパンを全件人手で確認した結果です。29件は土台の原文に実在した誤りで、本当の誤検出は 36件、率にして 1,000文字あたり 0.2538件、文単位で 1.20% でした(補正前の機械集計は 0.4582件、2.13%)。学習データは FineWeb-2 日本語の文へ 6種の誤りをプログラムで注入した合成で、実在の誤りコーパスでは数字は下がる前提で見てください。ONNX は PyTorch と dev・封印テスト各 200件で予測が全件一致し、CPU 速度は Intel Core i7-11700F で平均的な文を測った値です。
種別ごとの F1(封印テスト)
- 送り仮名: 0.9573
- 形の似た漢字: 0.9285
- 助詞: 0.8880
- 脱字: 0.8596
- 同音異義語: 0.8436
- 衍字(余分な文字): 0.7686
本当の誤検出の内訳で多かったもの
- 正常な助詞の文脈誤判定:
- 外来語・カタカナ語:
- 固有名詞: 固有名詞の多い文では過検出が増えます
仕様
- ベースモデル
- tohoku-nlp/bert-base-japanese-v3
- 学習データ
- FineWeb-2 日本語(ODC-By 1.0)への誤り注入による合成データ。実在の個人情報は含みません
- 同梱物
- PyTorch モデルと ONNX FP32(onnx/model.onnx)、inference_config.json、参照実装 examples/infer_error_detect.py
- ライセンス
- Apache 2.0
制限と注意
- 弱点は衍字(余分な文字)の検出で、F1 0.7686 と 6種の中で最も低いです。同音異義語も文脈依存が強く、言い換え可能な箇所では判断が割れます
- 学習データは合成です。実在の誤りコーパスでは数字は下がる前提で見てください
- このモデルは「誤りの候補を挙げる」ためのもので、検出箇所が必ず誤りとは限りません。最終判断は人か、後段の校正ロジックで行ってください
- 方言、文体差、口語表現は誤りとして扱いません