有害・虐待表現の多ラベル検知モデル
japan-opendata/ja-toxicity-guard-v1
日本語の文について、有害・虐待的な表現の兆候を7種のラベルで検知する多ラベル分類モデルです。想定する用途は、モデレーションの自動判定ではなく、人手レビューの優先付けと警告の補助です。正当な批判や報道・引用を有害と誤認しないことを、看板の指標として設計しました。
ラベルは7種です。insult(侮辱)、indirect_attack(遠回しな攻撃・皮肉・晒し意図)、exposure_intent(晒し予告)、threat(脅迫)、discrimination(差別)、sexual_harassment(セクシャルハラスメント)、self_harm(自傷の示唆)。self_harm は、該当する投稿を人手の対応へ回すための検知ラベルです。対応そのものは運用側の責任であり、このモデルが判断するものではありません。
クイックスタート
ラベルごとの採用閾値は inference_config.json に同梱されています(insult 0.5、indirect_attack 0.85、exposure_intent 0.5、threat 0.85、discrimination 0.5、sexual_harassment 0.85、self_harm 0.5。dev で固定した値)。閾値を適用してラベルと確率を返す参照実装は、同梱の examples/infer_toxicity_guard.py です。モデルの読み込みは次のとおりです。
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-toxicity-guard-v1")
model = AutoModelForSequenceClassification.from_pretrained("japan-opendata/ja-toxicity-guard-v1")ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
Macro F1(封印テスト)
0.9747
Micro F1
0.9717
完全一致率
0.9566
誤検出率(正当な批判)
0.0000
CPU 速度(ONNX FP32)
約38〜40 ms/件
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 封印テスト 5,000件(学習に未使用、最終評価は1回限り、採用閾値での値)です。無害な文全体の誤検出率は 0.0511 でした。ONNX 版は PyTorch 版と dev・封印テスト各 200件で、採用閾値でのラベルが完全一致しました。CPU 速度は Intel Core i7-11700F での値です。学習データはすべて合成で実在の投稿は使っておらず、攻撃文の対象は架空の人物像・一般的な立場・架空の組織に限定しています。全データについて、実在の固有名詞・連絡先・自傷の具体的な手段が混ざっていないかの監査を行い、違反は 0件でした。数字は合成データでの評価で、実在の投稿では性能は下がると考えてください。
ラベル別 F1(封印テスト)
- sexual_harassment: 1.0000
- discrimination: 0.9972
- self_harm: 0.9845
- threat: 0.9709
- insult: 0.9669
- exposure_intent: 0.9652
- indirect_attack: 0.9384(最弱)
無害な文への誤検出率(カテゴリ別)
- 正当な批判: 0.0000(600件中0件)
- 報道・引用: 0.0083(600件中5件)
- 議論・比喩・感想: 0.1317(600件中79件)
- 一般の無害文: 0.1450(200件中29件)
仕様
- ベースモデル
- tohoku-nlp/bert-base-japanese-v3
- 学習データ
- すべて合成で、実在の投稿は使っていません。攻撃文の対象は架空の人物像・一般的な立場・架空の組織に限定し、実在の個人・団体・地域を対象にした文は含みません。train 100,000件、dev 5,000件、封印テスト 5,000件で、分割間の重複は検査済みです
- 同梱物
- PyTorch モデルと ONNX FP32(onnx/model.onnx)、inference_config.json、参照実装 examples/infer_toxicity_guard.py
- ライセンス
- Apache 2.0(ベースモデルも Apache 2.0)
制限と注意
- 議論・反論・比喩の文と、丁寧な一般文での誤検出が1割強あります。丁寧な反論構文や強い否定の慣用句を indirect_attack や insult と誤る傾向があるため、単独での自動判定には使わず、人手レビューの優先付けに使ってください
- 数字は合成データでの評価です。実在の投稿では性能は下がると考えてください
- このモデルは検知の補助であり、投稿の削除やアカウントへの措置を自動で決めるためのものではありません