← 日本語AIモデル開発支援

日本語NLIモデル(自然言語推論)

japan-opendata/ja-nli-v1

日本語の前提文と仮説文の関係を、含意(entailment)・中立(neutral)・矛盾(contradiction)の3クラスで判定する小型の分類モデルです。RAG の回答が根拠文と矛盾していないかのチェック、検索結果と主張の整合確認など、生成の前後に挟む検証部品として作りました。

ライセンス Apache 2.0タスク text-classificationクラス 含意・中立・矛盾の3クラス言語 jaベース modernbert-ja-130m
Hugging Face で入手する ↗ 使い方のコード例 ↓ Kaggle で見る ↗ GitHub でコードを見る ↗

学習データは全て合成で、商用クリーンな材料だけで組み立てています。既存の日本語 NLI データセットは、ライセンス条件のため学習に使っていません。入力の最大長は 1,024 トークンで、切り詰めは前提側のみです。

ブラウザで試す(デモ) ↗

クイックスタート

参照実装 examples/infer_nli.py が PyTorch と ONNX の両対応で同梱されています。前提と仮説を渡すと、3クラスの確率を返します。ラベルの対応は inference_config.json に記載しています。モデルの読み込みは次のとおりです。

from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-nli-v1")
model = AutoModelForSequenceClassification.from_pretrained("japan-opendata/ja-nli-v1")

ONNX 版(onnx/model.onnx、fp32)も同梱しています。

実測

数字はすべて実測で、測定条件とあわせて掲載します。

正解率(封印テスト)

0.9612

Macro F1(封印テスト)

0.9612

正解率(人手確認評価600件)

0.9567

含意と矛盾の取り違え(人手確認評価)

3件 / 600件

CPU 速度(ONNX FP32)

約109 ms/件

ダウンロード数(HF実測、2026-11-21 時点)

0

測定条件: 封印テストは 5,000件で、学習と分離し、最終評価は1回限りです。人手確認評価は 600件のセットで、含意と矛盾の取り違えは 3件(0.5%)でした。ONNX 版(FP32、opset 17)は PyTorch 版と dev・封印テスト各 200件で予測が完全一致し、CPU 速度は Intel Core i7-11700F で長めの前提を含む条件での値です。INT8 版は同梱していません。

多言語 NLI モデルのゼロショットとの比較(同一条件)

健全性の確認(前提依存)

仕様

ベースモデル
sbintuitions/modernbert-ja-130m(MIT)
学習データ
種コーパスは、PDL1.0 の公的文書と、MIT/Apache-2.0 が確認できた OSS の日本語ドキュメントだけです。生成はオープンウェイト LLM、検証は生成とは別のモデルのブラインド判定で行い、無作為 200件の監査ではラベル妥当率 95.0%、日本語の自然さ 94.5% でした。JSNLI、JNLI、JSICK、JaNLI、XNLI、ANLI などの既存 NLI データセットは、ライセンス条件のため学習に使っていません(ゼロショット測定の参考にとどめています)
同梱物
PyTorch モデルと ONNX FP32(opset 17、INT8 版はなし)、inference_config.json、参照実装 examples/infer_nli.py
ライセンス
Apache 2.0

制限と注意