日本語AIモデル開発支援

Japan Open Data Lab は、日本語AIモデルの開発を支援しています。本ページでは、ラボが無料で公開する日本語の小モデルと、その開発や利用を助けるデータセットと道具を一覧でご案内しています。各モデルには、測定条件つきの実測を掲載しています。

モデル ・ 公開中

日本語PII検出モデル ja-pii-ner-v1

japan-opendata/ja-pii-ner-v1

日本語の文章から18種類の個人情報を文字位置つきで検出する小規模モデルです。CPUで動き、ONNX同梱、Apache 2.0。学習と評価に実在の個人情報は使っていません(すべて合成データ)。検出のみを行い、マスクの方法は利用者側で決める設計です。

ライセンス
Apache 2.0
タスク
token-classification(トークン分類)
対象ラベル
18種
実測
全体F1 0.9770(測定条件は個別ページに掲載)

実測と使い方の詳細 →

Hugging Face で入手する ↗

データセット ・ 公開中

LLM重み標準統計データセット

japan-opendata/llm-weight-standard-statistics

公開モデルの重みから測った標準統計のデータセットです。モデル選定や研究の材料として使えます。独自スコアや復元方法は含みません。

形式・規模
CSV、全41モデル+ペア差分12本(v1)
ライセンス
CC BY 4.0

Hugging Face で入手する ↗

道具 ・ 公開中

Presidio 組み込み例(ja-pii-ner-v1 用)

ja-pii-ner-v1 を Microsoft Presidio のカスタム認識器として差し込むコード例です。ラベル対応表つきで、モデルの公開と同時に Hugging Face リポジトリの examples に収録されます。

組み合わせ先
Microsoft Presidio AnalyzerEngine(language="ja")
ライセンス
Apache 2.0(モデルと同一)

組み込み例を見る →

本ページは公開物の集積ページです。モデルの販売は行っていません。掲載物の利用条件は、各カードおよび入手先の表記をご確認ください。