← 日本語AIモデル開発支援

日本語PII検出モデル

japan-opendata/ja-pii-ner-v1

日本語の文章から18種類の個人情報を文字位置つきで検出する小規模モデルです。CPUで動き、ONNX同梱、Apache 2.0。学習と評価に実在の個人情報は使っていません(すべて合成データ)。検出のみを行い、マスクの方法は利用者側で決める設計です。

ライセンス Apache 2.0 タスク token-classification 対象ラベル 18種 言語 ja パラメータ数 約111M
Hugging Face で入手する ↗ 使い方のコード例 ↓

ブラウザで試せるデモ(Static Space)は準備中です。公開後にここへリンクします。

クイックスタート

transformers の pipeline でそのまま動きます。

# pip install transformers torch
from transformers import pipeline

ner = pipeline("token-classification",
               model="japan-opendata/ja-pii-ner-v1",
               aggregation_strategy="simple")
print(ner("担当は山田太郎(電話 090-1234-5678)です。"))

# 実用処理(スパンの結合、長文の分割、マスクまで)は同梱の redact.py で:
from redact import redact
redact("連絡先は [email protected] です")
# -> '連絡先は <EMAIL> です'

ONNX Runtime(CPU)で使う場合は、同梱の ONNX を使います。

# pip install onnxruntime transformers huggingface_hub
# PyTorch 不要で動かす例です。実物は examples/onnx_example.py にあります。
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer

MODEL_ID = "japan-opendata/ja-pii-ner-v1"
tok = AutoTokenizer.from_pretrained(MODEL_ID)
onnx_file = hf_hub_download(MODEL_ID, "onnx/model.onnx")
sess = ort.InferenceSession(onnx_file, providers=["CPUExecutionProvider"])

Microsoft Presidio へ組み込む場合は、カスタム認識器として登録します。

# pip install presidio-analyzer transformers torch
# 実物は presidio_recognizer.py(モデルから直接文字オフセットを返す実装)です。
from presidio_analyzer import AnalyzerEngine
from presidio_recognizer import JaPiiRecognizer

analyzer = AnalyzerEngine()
analyzer.registry.add_recognizer(JaPiiRecognizer())
results = analyzer.analyze(text="担当は山田太郎です", language="ja")

実測

数字はすべて実測で、測定条件とあわせて掲載します。他モデルの数字を本モデルの成績として書くことはしません。先行品との同一テスト比較を行った場合は、その結果をこの節に並べます。

全体F1(完全一致スパン、micro)

0.9770

Precision(micro)

0.9965

Recall(micro)

0.9582

PERSON の発見率

0.9577

ADDRESS の発見率

0.9610

PIIなし文書での誤検出率

0.0000(2,068件中0件)

CPU 速度(ONNX fp32)

224 ms/文書(ONNX fp32)

CPU 速度(PyTorch fp32)

814 ms/文書(PyTorch fp32)

ダウンロード数(HF実測、2026-11-19 時点)

0

測定条件: テストは Nemotron-PII Japan のテスト分割全 10,001件(正解 43,064スパン)を文字スパンへ変換したもの。PIIなし文書の誤検出は別途生成した 2,068件で測定。CPU速度は Intel i7-11700F、200文書の平均。閾値なしの argmax 復号で、テストへの調整は行っていません。

弱点は組織名の Recall 0.8790 と SECRET の Recall 0.8000 です。人名らしく見える組織名や、通常と異なる形式の秘密情報が主な取りこぼしです。運転免許証とパスポートは、公開テストに正解データがないため未評価です(学習は自作合成データのみで供給)。

ラベル別の実測(Precision / Recall / F1):

DRIVER_LICENSE と PASSPORT は公開テストに正解データがないため未評価です。

先行品との同一テスト比較

比較対象は az225/privacy-masker-ja-pii-ner-30m で、同一テストで、1対1に対応する3ラベル(PERSON、ORGANIZATION、ADDRESS、正解24,149スパン)のみで比較条件です。

読み方に注意: ラベルの定義が異なります。先行品は地名を別の LOCATION ラベルに分けており、LOCATION を ADDRESS として数えると先行品の ADDRESS の Recall は 0.9821 になります。PERSON の Recall は先行品の 0.9961 が当方(0.9577)より高いです。上の差の一部は定義の差であり、品質の差だけではありません。

INT8 について

INT8(動的量子化)は計測しましたが v1 には同梱しません。188 MB、122 ms/文書と小さく速くなる一方、全体F1が 0.8988 まで下がり、IPアドレスや口座番号など数字・記号列のラベルで発見率が大きく崩れたためです。ONNX fp32 は全テストで PyTorch と完全一致しています。

対象ラベル(18種)

仕様

ベースモデル
tohoku-nlp/bert-base-japanese-v3(東北大学)
パラメータ数
約111M。最大 512 トークン(長文は同梱ヘルパーの分割処理を使う)
同梱物
同梱物: redact.py(マスク処理まで通す単体ヘルパー)、presidio_recognizer.py(Presidio用カスタム認識器)、examples/pipeline_example.py、examples/onnx_example.py
学習データ
Nemotron-PII Japan(NVIDIA / Elith、CC BY 4.0)の学習分割 79,998件と、ラボの自作合成 25,000件の合計 104,998件で3エポック学習。自作合成の部品は郵便番号データとアドレスレジストリ、法人番号公表情報(いずれも PDL 1.0 系)由来です。実在の個人情報は使っていません。
ライセンス
Apache 2.0

制限と注意