日本語PII検出モデル
japan-opendata/ja-pii-ner-v1
日本語の文章から18種類の個人情報を文字位置つきで検出する小規模モデルです。CPUで動き、ONNX同梱、Apache 2.0。学習と評価に実在の個人情報は使っていません(すべて合成データ)。検出のみを行い、マスクの方法は利用者側で決める設計です。
ブラウザで試せるデモ(Static Space)は準備中です。公開後にここへリンクします。
クイックスタート
transformers の pipeline でそのまま動きます。
# pip install transformers torch
from transformers import pipeline
ner = pipeline("token-classification",
model="japan-opendata/ja-pii-ner-v1",
aggregation_strategy="simple")
print(ner("担当は山田太郎(電話 090-1234-5678)です。"))
# 実用処理(スパンの結合、長文の分割、マスクまで)は同梱の redact.py で:
from redact import redact
redact("連絡先は [email protected] です")
# -> '連絡先は <EMAIL> です'
ONNX Runtime(CPU)で使う場合は、同梱の ONNX を使います。
# pip install onnxruntime transformers huggingface_hub
# PyTorch 不要で動かす例です。実物は examples/onnx_example.py にあります。
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer
MODEL_ID = "japan-opendata/ja-pii-ner-v1"
tok = AutoTokenizer.from_pretrained(MODEL_ID)
onnx_file = hf_hub_download(MODEL_ID, "onnx/model.onnx")
sess = ort.InferenceSession(onnx_file, providers=["CPUExecutionProvider"])
Microsoft Presidio へ組み込む場合は、カスタム認識器として登録します。
# pip install presidio-analyzer transformers torch
# 実物は presidio_recognizer.py(モデルから直接文字オフセットを返す実装)です。
from presidio_analyzer import AnalyzerEngine
from presidio_recognizer import JaPiiRecognizer
analyzer = AnalyzerEngine()
analyzer.registry.add_recognizer(JaPiiRecognizer())
results = analyzer.analyze(text="担当は山田太郎です", language="ja")
実測
数字はすべて実測で、測定条件とあわせて掲載します。他モデルの数字を本モデルの成績として書くことはしません。先行品との同一テスト比較を行った場合は、その結果をこの節に並べます。
全体F1(完全一致スパン、micro)
0.9770
Precision(micro)
0.9965
Recall(micro)
0.9582
PERSON の発見率
0.9577
ADDRESS の発見率
0.9610
PIIなし文書での誤検出率
0.0000(2,068件中0件)
CPU 速度(ONNX fp32)
224 ms/文書(ONNX fp32)
CPU 速度(PyTorch fp32)
814 ms/文書(PyTorch fp32)
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: テストは Nemotron-PII Japan のテスト分割全 10,001件(正解 43,064スパン)を文字スパンへ変換したもの。PIIなし文書の誤検出は別途生成した 2,068件で測定。CPU速度は Intel i7-11700F、200文書の平均。閾値なしの argmax 復号で、テストへの調整は行っていません。
弱点は組織名の Recall 0.8790 と SECRET の Recall 0.8000 です。人名らしく見える組織名や、通常と異なる形式の秘密情報が主な取りこぼしです。運転免許証とパスポートは、公開テストに正解データがないため未評価です(学習は自作合成データのみで供給)。
ラベル別の実測(Precision / Recall / F1):
PERSON: P 0.9987 / R 0.9577 / F1 0.9778ORGANIZATION: P 0.9918 / R 0.8790 / F1 0.9320ADDRESS: P 0.9919 / R 0.9610 / F1 0.9762POSTAL_CODE: P 1.0000 / R 1.0000 / F1 1.0000PHONE: P 0.9951 / R 0.9562 / F1 0.9753EMAIL: P 1.0000 / R 1.0000 / F1 1.0000DATE_OF_BIRTH: P 1.0000 / R 1.0000 / F1 1.0000MY_NUMBER: P 1.0000 / R 1.0000 / F1 1.0000BANK_ACCOUNT: P 1.0000 / R 1.0000 / F1 1.0000CREDIT_CARD: P 1.0000 / R 1.0000 / F1 1.0000HEALTH_INSURANCE: P 1.0000 / R 1.0000 / F1 1.0000EMPLOYEE_ID: P 0.9992 / R 0.9990 / F1 0.9991IP_ADDRESS: P 0.9984 / R 0.9984 / F1 0.9984URL_PERSONAL: P 1.0000 / R 1.0000 / F1 1.0000USERNAME: P 0.9989 / R 0.9978 / F1 0.9984SECRET: P 0.9620 / R 0.8000 / F1 0.8736
DRIVER_LICENSE と PASSPORT は公開テストに正解データがないため未評価です。
先行品との同一テスト比較
比較対象は az225/privacy-masker-ja-pii-ner-30m で、同一テストで、1対1に対応する3ラベル(PERSON、ORGANIZATION、ADDRESS、正解24,149スパン)のみで比較条件です。
- ja-pii-ner-v1: F1 0.9626(Precision 0.9947、Recall 0.9325)
- az225/privacy-masker-ja-pii-ner-30m: F1 0.6568(Precision 0.6343、Recall 0.6809)
読み方に注意: ラベルの定義が異なります。先行品は地名を別の LOCATION ラベルに分けており、LOCATION を ADDRESS として数えると先行品の ADDRESS の Recall は 0.9821 になります。PERSON の Recall は先行品の 0.9961 が当方(0.9577)より高いです。上の差の一部は定義の差であり、品質の差だけではありません。
INT8 について
INT8(動的量子化)は計測しましたが v1 には同梱しません。188 MB、122 ms/文書と小さく速くなる一方、全体F1が 0.8988 まで下がり、IPアドレスや口座番号など数字・記号列のラベルで発見率が大きく崩れたためです。ONNX fp32 は全テストで PyTorch と完全一致しています。
対象ラベル(18種)
PERSON: 氏名ORGANIZATION: 組織名(人名との混同を防ぐ補助ラベル)ADDRESS: 住所(都道府県から番地・建物・部屋番号までを1スパン)POSTAL_CODE: 郵便番号PHONE: 電話番号(固定・携帯・FAX・国際表記を含む)EMAIL: メールアドレスDATE_OF_BIRTH: 生年月日(単なる日付一般は含めない)MY_NUMBER: 個人番号(12桁)BANK_ACCOUNT: 銀行口座番号CREDIT_CARD: クレジットカード番号DRIVER_LICENSE: 運転免許証番号PASSPORT: 旅券番号HEALTH_INSURANCE: 健康保険の被保険者記号・番号EMPLOYEE_ID: 社員番号・学籍番号など組織内IDIP_ADDRESS: IPアドレス(v4 / v6)URL_PERSONAL: 個人を特定し得るURLUSERNAME: アカウント名・ログインIDSECRET: APIキー・パスワード等の秘密情報
仕様
- ベースモデル
- tohoku-nlp/bert-base-japanese-v3(東北大学)
- パラメータ数
- 約111M。最大 512 トークン(長文は同梱ヘルパーの分割処理を使う)
- 同梱物
- 同梱物: redact.py(マスク処理まで通す単体ヘルパー)、presidio_recognizer.py(Presidio用カスタム認識器)、examples/pipeline_example.py、examples/onnx_example.py
- 学習データ
- Nemotron-PII Japan(NVIDIA / Elith、CC BY 4.0)の学習分割 79,998件と、ラボの自作合成 25,000件の合計 104,998件で3エポック学習。自作合成の部品は郵便番号データとアドレスレジストリ、法人番号公表情報(いずれも PDL 1.0 系)由来です。実在の個人情報は使っていません。
- ライセンス
- Apache 2.0
制限と注意
- 合成データで学習しています。実在の文書での性能は変わり得るため、上の数字は完全な検出の保証ではありません
- 組織名の Recall 0.8790、SECRET の Recall 0.8000 が弱点です。人名らしく見える組織名や、通常と異なる形式の秘密情報が主な取りこぼしです
- 運転免許証とパスポートは公開テストに正解データがなく、未評価です
- 土台データには一部のラベル漏れがあることが知られています。実測された誤検出の一部は、未ラベルの実在PIIである可能性があります
- 512トークンを超える入力はモデル自体では切り捨てられます。長文には同梱の redact.py の分割処理を使ってください
- 検出は防御の一層であり、単独で法令適合を保証するものではありません