日本語感情極性分類モデル
japan-opendata/ja-sentiment-v1
日本語テキストの感情極性を、ポジティブ・中立・ネガティブの3クラスの確率で返す小型の分類モデルです。レビューの集計、SNS や問い合わせの一次仕分け、アンケート自由記述の傾向把握など、実務のパイプラインに組み込む部品として作りました。
学習データは全て合成で、ライセンスが商用クリーンな材料だけで組み立てています。出所の分からないレビュー収集物や、研究限定のデータセットは使っていません。確率の較正誤差(ECE)は 0.005 程度と小さいため、確率をそのままスコアとして使いやすい形になっています。
クイックスタート
参照実装 examples/infer_sentiment.py が PyTorch と ONNX の両対応で同梱されています。テキストを渡すと、negative / neutral / positive の確率を返します。ラベルの対応は inference_config.json に記載しています。モデルの読み込みは次のとおりです。
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("japan-opendata/ja-sentiment-v1")
model = AutoModelForSequenceClassification.from_pretrained("japan-opendata/ja-sentiment-v1")ONNX 版(onnx/model.onnx、fp32)も同梱しています。
実測
数字はすべて実測で、測定条件とあわせて掲載します。
正解率(封印テスト)
0.9940
Macro F1(封印テスト)
0.9940
正解率(人手確認評価600件)
0.9933
極性の取り違え(封印テスト)
2件 / 5,000件
CPU 速度(ONNX FP32)
約17.8 ms/件
ダウンロード数(HF実測、2026-11-21 時点)
0
測定条件: 封印テストは 5,000件で、学習とはサブトピック単位で分離し、最終評価は1回限りです。人手確認評価は 600件を全件目視確認したセットで、正解率 0.9933、ポジティブとネガティブの取り違えは 0件でした。ONNX 版(FP32、opset 17)は PyTorch 版と dev・封印テスト各 200件で予測が完全一致し、CPU 速度は Intel Core i7-11700F での値です。INT8 版は同梱していません。評価セットは合成データ由来で、実在レビューとは分布も「中立」の定義も異なる前提で見てください。
既存の日本語感情分類モデルとの比較(同一条件)
- 封印テスト(このモデル): 0.9940
- 封印テスト(christian-phu/bert-finetuned-japanese-sentiment): 0.6210
- 人手確認評価(このモデル): 0.9933
- 人手確認評価(christian-phu/bert-finetuned-japanese-sentiment): 0.5750
仕様
- ベースモデル
- sbintuitions/modernbert-ja-130m(MIT)
- 学習データ
- Apache 2.0/MIT のオープンウェイト LLM で生成し、生成とは別のモデルの独立検証を通した合成文だけです。無作為 200件の監査では、ラベル妥当性 97.5%、日本語の自然さ 93.5% でした。ドメインは商品レビュー、宿泊・飲食、SNS 風の短文、サポートへの感想、アプリ評価などを散らし、否定形・両面評価・控えめな不満といった難例を約6割含めています。WRIME(研究限定)や chABSA 系(CC BY-NC-SA)、出所不明のレビュー収集物は使っていません
- 同梱物
- PyTorch モデルと ONNX FP32(opset 17、INT8 版はなし)、inference_config.json、参照実装 examples/infer_sentiment.py
- ライセンス
- Apache 2.0
制限と注意
- 当方の評価セットは合成データ由来で、相手のモデルが学習した実在レビューとは分布も「中立」の定義も異なります。既存モデルとの比較の数字は「実在レビューでの優劣」ではなく、「当方の検証済みラベルへの一致度」の比較として読んでください
- ポジティブとネガティブの取り違えは封印テストで 5,000件中 2件ありました。ゼロではありません