← 日本語AIモデル開発支援

業務文書ルータ(領域・種別・高機密フラグ)

japan-opendata/ja-doc-classify-v1

業務文書の入口で使うルータです。文書を8つの領域(金融、医療、法務、行政、雇用、教育、EC、通信・IT)に振り分け、43種の文書種別は確信があるときだけ候補として返し、高機密の可能性がある文書にはフラグを立てます。第1号の個人情報検出の前段に置く想定の部品です。

ライセンス Apache 2.0タスク text-classification出力 領域8種+種別候補43種+高機密フラグ言語 jaベース modernbert-ja-130m
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

種別は「判定」ではなく「候補提示」として設計しています。確信度が既定の閾値に届かない文書については、種別を無理に決めず「種別不明(領域のみ)」を返します。公開の根拠は、合成データ上での保持評価ではなく、学習とは無関係に人が書いた評価文での実測に置いています(合成の封印テストは未開封のままです)。

クイックスタート

文書を渡すと、領域・種別候補・高機密フラグが返ります。予測には同梱のカスタムコード(trust_remote_code)を使う形です。

from transformers import AutoModel, AutoTokenizer

repo = "japan-opendata/ja-doc-classify-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModel.from_pretrained(repo, trust_remote_code=True)
model.eval()

text = "診断書 在職中、加療を要する状態にあるため、2週間の自宅療養を指示する。"
result = model.predict(tok, text)
print(result)
# {'domain': '医療', 'document_type': '診断書', 'high_risk': True, ...}
# 確信度が低い場合は document_type が None になり、領域だけが返ります

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

領域の正解率(棄却後の残り、両セット)

0.989

種別の正解率(棄却後の残り)

0.82〜0.87

高機密フラグの Recall

0.94〜0.975

CPU 速度(ONNX FP32)

約141 ms/件

ダウンロード数(HF実測、2026-11-19 時点)

0

測定条件: 学習データとは無関係に人が書いた業務文書 200件ずつ 2セット(OOD v1 は 25種別、OOD v2 は全 43種別)で、既定値(領域の棄却閾値 0.95、種別の棄却閾値 0.80、高機密フラグは高機密 22種別の確率合計 0.12 以上)を適用して測定。領域の棄却率は 5〜6%、種別の棄却率は 26〜30%、標準文書への誤フラグ率は 8〜12.5%。CPU 速度は文書の平均長(約 425 文字)での値で、Intel Core i7-11700F、ONNX FP32。PyTorch と ONNX の出力は 600件で全件一致しました。学習データは合成で、合成データ上での保持評価は公開の根拠に使っていません。200件ずつの小規模な評価なので、実務の文書では分布が変われば数字も動きます。

既定の閾値(routing_config.json に同梱)

弱い種別(OOD v2 で F1 が 0)

仕様

ベースモデル
sbintuitions/modernbert-ja-130m
学習データ
NVIDIA Nemotron-PII Japan(合成データ、CC BY 4.0)の文書を土台に、メール形式化・短文化・箇条書き化・メモ形式化の文体拡張を追加。実在の個人の文書は含みません
同梱物
PyTorch モデル(カスタムコード)と ONNX FP32(onnx/model.onnx、領域・種別・形式の3ヘッドのロジット)、routing_config.json
ライセンス
Apache 2.0

制限と注意