住所・地名の抽出と正規化モデル
japan-opendata/ja-address-ner-v1
日本語の文から住所を抽出して構成要素(都道府県・市区町村・町域・番地等・建物名)に分解し、付属の辞書リンカーで市区町村コードを付与する2段階の部品です。コードが一意に決まらない場合は、誤ったコードを付けずに「判定不能」を返します。架空の住所だけで学習した合成モデルで、実在の個人の住所は学習に使っていません。
2段階の部品です。第1段階が文から住所を抽出して構成要素に分解し、第2段階の辞書リンカーが市区町村コードを付けます。判定不能を返すのは仕様で、住所が実在しない場合や同名の町域が複数あって文脈から決められない場合に、推測でコードを付けることはしません。辞書データ自体は同梱していないので、同梱の手順で公的データ(日本郵便の郵便番号データ、デジタル庁アドレス・ベース・レジストリ)から組み立てます。辞書は差し替え可能で、行政区の再編には辞書の更新で追随する設計です。
クイックスタート
文から住所を取り出してコードまで付ける一連の流れは、同梱の参照実装 examples/infer_address.py が担います。モデルの読み込みは次のとおりです。
from transformers import AutoModelForTokenClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-address-ner-v1")
model = AutoModelForTokenClassification.from_pretrained("japan-opendata/ja-address-ner-v1")ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
住所スパン完全一致 F1(封印テスト)
0.9983
構成要素の分解 Micro F1
0.9965
コード付与の正確さ(判定できるケース)
0.9924
誤ったコード付与
0件
CPU 速度(ONNX FP32、リンカーまで含む)
約22.5 ms/件
ダウンロード数(HF実測、2026-11-19 時点)
0
測定条件: 封印テスト 5,000件(学習に未使用、最終評価は1回限り)での実測です。住所を含まない文への誤検出は 500件中 0件でした。判定できないケースの正しい棄却率は 1.0000 で、誤った断言は全 4,814件の住所でも 0件です。ONNX 版は PyTorch 版と dev・封印テスト各 200件で、住所スパン・構成要素・リンカー出力のすべてが完全一致しました。CPU 速度は Intel Core i7-11700F でリンカーまで含む値です。学習データはすべて合成で、実在の住所が崩れた表記や口語の文の中にある場合、性能は下がると考えてください。
構成要素ごとの F1(封印テスト)
- 都道府県: 1.0000
- 市区町村: 0.9945
- 町域: 0.9924
- 番地等: 0.9995
- 建物名: 0.9985
リンカーの誤りの向き
- 棄却しすぎ: 31件(判定できるケースの誤りはすべてこの向き)
- 違うコードを付けてしまった例: 0件
- 誤った断言(全 4,814件の住所): 0件
仕様
- ベースモデル
- tohoku-nlp/bert-base-japanese-v3
- 学習データ
- すべて合成です。日本郵便の郵便番号データとデジタル庁アドレス・ベース・レジストリ(ともに PDL 1.0)から作った架空の住所を、NVIDIA Nemotron-PII Japan(CC BY 4.0)の文脈と定型文に埋め込みました。train 100,000件、dev 5,000件、封印テスト 5,000件で、分割間の重複は検査済みです。実在の個人の住所は含みません
- 同梱物
- PyTorch モデルと ONNX FP32(onnx/model.onnx)、参照実装 examples/infer_address.py、辞書の組み立て手順 linker/DICTIONARY-SETUP.md(辞書データ自体は同梱していません)
- ライセンス
- Apache 2.0(ベースモデルも Apache 2.0)
制限と注意
- 数字は合成の住所文での評価です。実在の住所が崩れた表記や口語の文の中にある場合、性能は下がると考えてください
- 判定不能を返すのは仕様です。住所が実在しない場合や、同名の町域が複数あって文脈から決められない場合に、推測でコードを付けることはしません
- 郵便番号の付与や、番地の表記ゆれの完全な正規化は、このモデルの範囲外です