日本語フィッシング・詐欺・スパム検知モデル
japan-opendata/ja-phish-guard-v1
メールやメッセージの文面を5クラス(phishing/fraud/spam/benign_hard/benign)に分類し、攻撃3クラスの確率合計をリスクスコアとして返す、日本語の文分類モデルです。補助的なリスクスコアラーという位置づけで、送信元認証や URL 検査の代替にはなりません。
ライセンス Apache 2.0タスク text-classification分類 5クラス+リスクスコア言語 jaベース bert-base-japanese-v3
位置づけは補助的なリスクスコアラーです。文面だけを見るモデルで、送信元認証(DMARC 等)、URL の実地検査、添付ファイルの検査の代替にはなりません。もう1つ大事な留保として、学習データも封印テストも合成データです。封印テストの数字は満点ですが、実在のメールではこれより下がると前提してください。
クイックスタート
文面を渡すと、5クラスの確率とリスクスコアが返ります。
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch
repo = "japan-opendata/ja-phish-guard-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo)
model.eval()
text = "アカウントが停止されます。24時間以内に本人確認を完了してください"
enc = tok(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
probs = model(**enc).logits.softmax(-1)[0]
id2label = model.config.id2label
scores = {id2label[i]: round(float(p), 4) for i, p in enumerate(probs)}
risk = sum(float(probs[i]) for i, lab in id2label.items() if lab in ("phishing", "fraud", "spam"))
print(scores)
print("risk_score:", round(risk, 4))
# 閾値の目安: 封印テストでは 0.5 で誤検出率 0.0、発見率 1.0 でした(下記の注意を参照)ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
発見率(攻撃3クラス、封印テスト)
1.0
誤検出率(閾値 0.5)
0.0
誤検出率(dev で固定した低閾値)
0.0022
リスクスコアの AUC
1.0
CPU 速度(ONNX fp32)
27.6 ms/件
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 封印テスト 2,990件(学習・閾値選定のどちらにも未使用)で、攻撃 1,640件は全件発見しました。ただし学習データも封印テストも合成データです。実在のメールでは数字は下がると前提してください。学習に使っていない手口ファミリーも「同じ生成の仕組みで作った別テンプレート」であり、現実の新しい手口そのものではありません。速度は ONNX・CPU(Intel Core i7-11700F)での平均です。
クラス別の精度(封印テスト)
- 5クラス(phishing/fraud/spam/benign_hard/benign): すべて 1.0
学習に使っていない手口ファミリーでの発見率(封印テスト)
- SMS認証コード型: 1.0
- 家賃詐欺型: 1.0
dev で残った弱さ
- fraud クラスの精度(dev): 0.7483(他クラスより低く、詐欺文面の言い回しに弱さが残ります)
仕様
- ベースモデル
- tohoku-nlp/bert-base-japanese-v3
- 学習データ
- 全て合成した日本語文面(手口ファミリー単位で生成し、dev と封印には学習に使わないファミリーを入れて汎化を測定)。通常文の一部に HuggingFaceFW/fineweb-2 日本語(ODC-By 1.0)を使用。実在のメール・個人情報・実在ブランド名は不使用
- 同梱物
- PyTorch モデルと ONNX fp32(onnx/model.onnx)。最大 512 トークン
- ライセンス
- Apache 2.0
制限と注意
- 学習データも封印テストも合成データです。封印の数字は満点ですが、実在のメールではこれより下がると前提してください
- dev では fraud クラスの精度が 0.7483 と他クラスより低く、詐欺文面の言い回しには弱さが残ります
- 文面だけを見るモデルです。送信元認証(DMARC 等)、URL の実地検査、添付ファイルの検査の代替にはならず、補助的なリスクスコアラーとして他の対策と組み合わせて使ってください
- 実在ブランドを騙る文面は学習データに含まれていません(架空ブランドで学習)。実ブランド名入りの文面での性能は未検証です