Japan Open Data Lab は、日本語AIモデルの開発を支援しています。本ページでは、ラボが無料で公開する日本語の小モデルと、その開発や利用を助けるデータセットと道具を一覧でご案内しています。各モデルには、測定条件つきの実測を掲載しています。
モデル ・ 公開中
日本語PII検出モデル ja-pii-ner-v1
japan-opendata/ja-pii-ner-v1
日本語の文章から18種類の個人情報を文字位置つきで検出する小規模モデルです。CPUで動き、ONNX同梱、Apache 2.0。学習と評価に実在の個人情報は使っていません(すべて合成データ)。検出のみを行い、マスクの方法は利用者側で決める設計です。
- ライセンス
- Apache 2.0
- タスク
- token-classification(トークン分類)
- 対象ラベル
- 18種
- 実測
- 全体F1 0.9770(測定条件は個別ページに掲載)
実測と使い方の詳細 →
Hugging Face で入手する ↗
データセット ・ 公開中
LLM重み標準統計データセット
japan-opendata/llm-weight-standard-statistics
公開モデルの重みから測った標準統計のデータセットです。モデル選定や研究の材料として使えます。独自スコアや復元方法は含みません。
- 形式・規模
- CSV、全41モデル+ペア差分12本(v1)
- ライセンス
- CC BY 4.0
Hugging Face で入手する ↗
道具 ・ 公開中
Presidio 組み込み例(ja-pii-ner-v1 用)
ja-pii-ner-v1 を Microsoft Presidio のカスタム認識器として差し込むコード例です。ラベル対応表つきで、モデルの公開と同時に Hugging Face リポジトリの examples に収録されます。
- 組み合わせ先
- Microsoft Presidio AnalyzerEngine(language="ja")
- ライセンス
- Apache 2.0(モデルと同一)
組み込み例を見る →