日本語NLIモデル(自然言語推論)
japan-opendata/ja-nli-v1
日本語の前提文と仮説文の関係を、含意(entailment)・中立(neutral)・矛盾(contradiction)の3クラスで判定する小型の分類モデルです。RAG の回答が根拠文と矛盾していないかのチェック、検索結果と主張の整合確認など、生成の前後に挟む検証部品として作りました。
学習データは全て合成で、商用クリーンな材料だけで組み立てています。既存の日本語 NLI データセットは、ライセンス条件のため学習に使っていません。入力の最大長は 1,024 トークンで、切り詰めは前提側のみです。
クイックスタート
参照実装 examples/infer_nli.py が PyTorch と ONNX の両対応で同梱されています。前提と仮説を渡すと、3クラスの確率を返します。ラベルの対応は inference_config.json に記載しています。モデルの読み込みは次のとおりです。
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-nli-v1")
model = AutoModelForSequenceClassification.from_pretrained("japan-opendata/ja-nli-v1")ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
正解率(封印テスト)
0.9612
Macro F1(封印テスト)
0.9612
正解率(人手確認評価600件)
0.9567
含意と矛盾の取り違え(人手確認評価)
3件 / 600件
CPU 速度(ONNX FP32)
約109 ms/件
ダウンロード数(HF実測、2026-11-21 時点)
0
測定条件: 封印テストは 5,000件で、学習と分離し、最終評価は1回限りです。人手確認評価は 600件のセットで、含意と矛盾の取り違えは 3件(0.5%)でした。ONNX 版(FP32、opset 17)は PyTorch 版と dev・封印テスト各 200件で予測が完全一致し、CPU 速度は Intel Core i7-11700F で長めの前提を含む条件での値です。INT8 版は同梱していません。
多言語 NLI モデルのゼロショットとの比較(同一条件)
- 封印テスト(このモデル): 0.9612
- 封印テスト(mDeBERTa 系ゼロショット 2種): 0.7920 と 0.8094
- 人手確認評価(このモデル): 0.9567
- 人手確認評価(ゼロショット 2種とも): 0.8433
健全性の確認(前提依存)
- 前提文を無関係なものに入れ替えたときの精度: 0.38 前後まで低下し、大半が中立に倒れる(前提を読んで判定している形)
- 仮説単体プローブ(人手確認評価): 0.63 程度まで低下(前提を読まずに仮説だけで当てる信号を、学習データの多様化で弱めた)
仕様
- ベースモデル
- sbintuitions/modernbert-ja-130m(MIT)
- 学習データ
- 種コーパスは、PDL1.0 の公的文書と、MIT/Apache-2.0 が確認できた OSS の日本語ドキュメントだけです。生成はオープンウェイト LLM、検証は生成とは別のモデルのブラインド判定で行い、無作為 200件の監査ではラベル妥当率 95.0%、日本語の自然さ 94.5% でした。JSNLI、JNLI、JSICK、JaNLI、XNLI、ANLI などの既存 NLI データセットは、ライセンス条件のため学習に使っていません(ゼロショット測定の参考にとどめています)
- 同梱物
- PyTorch モデルと ONNX FP32(opset 17、INT8 版はなし)、inference_config.json、参照実装 examples/infer_nli.py
- ライセンス
- Apache 2.0
制限と注意
- 前提を読まずに仮説だけで当てる信号は弱めましたが残っています(仮説単体プローブは人手確認評価で 0.63 程度)。仮説の文面だけで引っ張られるケースはありえます
- 含意と矛盾の取り違えは人手確認評価で 3件(0.5%)ありました。検証部品として使う場合も、最終判断は別途必要です
- 入力の最大長は 1,024 トークンで、切り詰めは前提側のみです。長い前提は前提側が切り詰められます