← 日本語AIモデル開発支援

日本語フィッシング・詐欺・スパム検知モデル

japan-opendata/ja-phish-guard-v1

メールやメッセージの文面を5クラス(phishing/fraud/spam/benign_hard/benign)に分類し、攻撃3クラスの確率合計をリスクスコアとして返す、日本語の文分類モデルです。補助的なリスクスコアラーという位置づけで、送信元認証や URL 検査の代替にはなりません。

ライセンス Apache 2.0タスク text-classification分類 5クラス+リスクスコア言語 jaベース bert-base-japanese-v3
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

位置づけは補助的なリスクスコアラーです。文面だけを見るモデルで、送信元認証(DMARC 等)、URL の実地検査、添付ファイルの検査の代替にはなりません。もう1つ大事な留保として、学習データも封印テストも合成データです。封印テストの数字は満点ですが、実在のメールではこれより下がると前提してください。

クイックスタート

文面を渡すと、5クラスの確率とリスクスコアが返ります。

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

repo = "japan-opendata/ja-phish-guard-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo)
model.eval()

text = "アカウントが停止されます。24時間以内に本人確認を完了してください"
enc = tok(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
    probs = model(**enc).logits.softmax(-1)[0]

id2label = model.config.id2label
scores = {id2label[i]: round(float(p), 4) for i, p in enumerate(probs)}
risk = sum(float(probs[i]) for i, lab in id2label.items() if lab in ("phishing", "fraud", "spam"))
print(scores)
print("risk_score:", round(risk, 4))
# 閾値の目安: 封印テストでは 0.5 で誤検出率 0.0、発見率 1.0 でした(下記の注意を参照)

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

発見率(攻撃3クラス、封印テスト)

1.0

誤検出率(閾値 0.5)

0.0

誤検出率(dev で固定した低閾値)

0.0022

リスクスコアの AUC

1.0

CPU 速度(ONNX fp32)

27.6 ms/件

ダウンロード数(HF実測、2026-11-19 時点)

0

測定条件: 封印テスト 2,990件(学習・閾値選定のどちらにも未使用)で、攻撃 1,640件は全件発見しました。ただし学習データも封印テストも合成データです。実在のメールでは数字は下がると前提してください。学習に使っていない手口ファミリーも「同じ生成の仕組みで作った別テンプレート」であり、現実の新しい手口そのものではありません。速度は ONNX・CPU(Intel Core i7-11700F)での平均です。

クラス別の精度(封印テスト)

学習に使っていない手口ファミリーでの発見率(封印テスト)

dev で残った弱さ

仕様

ベースモデル
tohoku-nlp/bert-base-japanese-v3
学習データ
全て合成した日本語文面(手口ファミリー単位で生成し、dev と封印には学習に使わないファミリーを入れて汎化を測定)。通常文の一部に HuggingFaceFW/fineweb-2 日本語(ODC-By 1.0)を使用。実在のメール・個人情報・実在ブランド名は不使用
同梱物
PyTorch モデルと ONNX fp32(onnx/model.onnx)。最大 512 トークン
ライセンス
Apache 2.0

制限と注意