← 日本語AIモデル開発支援

有害・虐待表現の多ラベル検知モデル

japan-opendata/ja-toxicity-guard-v1

日本語の文について、有害・虐待的な表現の兆候を7種のラベルで検知する多ラベル分類モデルです。想定する用途は、モデレーションの自動判定ではなく、人手レビューの優先付けと警告の補助です。正当な批判や報道・引用を有害と誤認しないことを、看板の指標として設計しました。

ライセンス Apache 2.0タスク text-classification(多ラベル)検知 ラベル7種言語 jaベース bert-base-japanese-v3
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

ラベルは7種です。insult(侮辱)、indirect_attack(遠回しな攻撃・皮肉・晒し意図)、exposure_intent(晒し予告)、threat(脅迫)、discrimination(差別)、sexual_harassment(セクシャルハラスメント)、self_harm(自傷の示唆)。self_harm は、該当する投稿を人手の対応へ回すための検知ラベルです。対応そのものは運用側の責任であり、このモデルが判断するものではありません。

クイックスタート

ラベルごとの採用閾値は inference_config.json に同梱されています(insult 0.5、indirect_attack 0.85、exposure_intent 0.5、threat 0.85、discrimination 0.5、sexual_harassment 0.85、self_harm 0.5。dev で固定した値)。閾値を適用してラベルと確率を返す参照実装は、同梱の examples/infer_toxicity_guard.py です。モデルの読み込みは次のとおりです。

from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-toxicity-guard-v1")
model = AutoModelForSequenceClassification.from_pretrained("japan-opendata/ja-toxicity-guard-v1")

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

Macro F1(封印テスト)

0.9747

Micro F1

0.9717

完全一致率

0.9566

誤検出率(正当な批判)

0.0000

CPU 速度(ONNX FP32)

約38〜40 ms/件

ダウンロード数(HF実測、2026-11-19 時点)

0

測定条件: 封印テスト 5,000件(学習に未使用、最終評価は1回限り、採用閾値での値)です。無害な文全体の誤検出率は 0.0511 でした。ONNX 版は PyTorch 版と dev・封印テスト各 200件で、採用閾値でのラベルが完全一致しました。CPU 速度は Intel Core i7-11700F での値です。学習データはすべて合成で実在の投稿は使っておらず、攻撃文の対象は架空の人物像・一般的な立場・架空の組織に限定しています。全データについて、実在の固有名詞・連絡先・自傷の具体的な手段が混ざっていないかの監査を行い、違反は 0件でした。数字は合成データでの評価で、実在の投稿では性能は下がると考えてください。

ラベル別 F1(封印テスト)

無害な文への誤検出率(カテゴリ別)

仕様

ベースモデル
tohoku-nlp/bert-base-japanese-v3
学習データ
すべて合成で、実在の投稿は使っていません。攻撃文の対象は架空の人物像・一般的な立場・架空の組織に限定し、実在の個人・団体・地域を対象にした文は含みません。train 100,000件、dev 5,000件、封印テスト 5,000件で、分割間の重複は検査済みです
同梱物
PyTorch モデルと ONNX FP32(onnx/model.onnx)、inference_config.json、参照実装 examples/infer_toxicity_guard.py
ライセンス
Apache 2.0(ベースモデルも Apache 2.0)

制限と注意