業務文書ルータ(領域・種別・高機密フラグ)
japan-opendata/ja-doc-classify-v1
業務文書の入口で使うルータです。文書を8つの領域(金融、医療、法務、行政、雇用、教育、EC、通信・IT)に振り分け、43種の文書種別は確信があるときだけ候補として返し、高機密の可能性がある文書にはフラグを立てます。第1号の個人情報検出の前段に置く想定の部品です。
種別は「判定」ではなく「候補提示」として設計しています。確信度が既定の閾値に届かない文書については、種別を無理に決めず「種別不明(領域のみ)」を返します。公開の根拠は、合成データ上での保持評価ではなく、学習とは無関係に人が書いた評価文での実測に置いています(合成の封印テストは未開封のままです)。
クイックスタート
文書を渡すと、領域・種別候補・高機密フラグが返ります。予測には同梱のカスタムコード(trust_remote_code)を使う形です。
from transformers import AutoModel, AutoTokenizer
repo = "japan-opendata/ja-doc-classify-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModel.from_pretrained(repo, trust_remote_code=True)
model.eval()
text = "診断書 在職中、加療を要する状態にあるため、2週間の自宅療養を指示する。"
result = model.predict(tok, text)
print(result)
# {'domain': '医療', 'document_type': '診断書', 'high_risk': True, ...}
# 確信度が低い場合は document_type が None になり、領域だけが返りますONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
領域の正解率(棄却後の残り、両セット)
0.989
種別の正解率(棄却後の残り)
0.82〜0.87
高機密フラグの Recall
0.94〜0.975
CPU 速度(ONNX FP32)
約141 ms/件
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 学習データとは無関係に人が書いた業務文書 200件ずつ 2セット(OOD v1 は 25種別、OOD v2 は全 43種別)で、既定値(領域の棄却閾値 0.95、種別の棄却閾値 0.80、高機密フラグは高機密 22種別の確率合計 0.12 以上)を適用して測定。領域の棄却率は 5〜6%、種別の棄却率は 26〜30%、標準文書への誤フラグ率は 8〜12.5%。CPU 速度は文書の平均長(約 425 文字)での値で、Intel Core i7-11700F、ONNX FP32。PyTorch と ONNX の出力は 600件で全件一致しました。学習データは合成で、合成データ上での保持評価は公開の根拠に使っていません。200件ずつの小規模な評価なので、実務の文書では分布が変われば数字も動きます。
既定の閾値(routing_config.json に同梱)
- 領域の棄却閾値: 0.95(未満は領域も返さない)
- 種別の棄却閾値: 0.80(未満は種別不明として領域のみ返す)
- 高機密フラグ: 高機密 22種別の確率合計が 0.12 以上
弱い種別(OOD v2 で F1 が 0)
- 契約書: 他の種別に吸収されます
- 委任状: 他の種別に吸収されます
- 本人確認台帳: 他の種別に吸収されます
仕様
- ベースモデル
- sbintuitions/modernbert-ja-130m
- 学習データ
- NVIDIA Nemotron-PII Japan(合成データ、CC BY 4.0)の文書を土台に、メール形式化・短文化・箇条書き化・メモ形式化の文体拡張を追加。実在の個人の文書は含みません
- 同梱物
- PyTorch モデル(カスタムコード)と ONNX FP32(onnx/model.onnx、領域・種別・形式の3ヘッドのロジット)、routing_config.json
- ライセンス
- Apache 2.0
制限と注意
- 弱い種別があります。契約書、委任状、本人確認台帳は OOD v2 で F1 が 0 でした。種別は候補として扱い、確信度の低いものは人が確認する前提で使ってください
- 高機密フラグは取りこぼしを減らす側に倒した設定で、標準文書の 8〜12.5% にもフラグが立ちます。フラグは「人が見る順番を上げる合図」であって、機密かどうかの判定そのものではありません
- 学習は合成データで、実測は人が書いた 200件ずつの小規模な評価です。実務の文書では分布が変われば数字も動きます
- 法務・コンプライアンス上の判断(文書の法的性質や開示可否の決定)に使うモデルではありません