KNOWLEDGE VAULT — TAG
タグ「汎化性能」
収蔵 19件
2026-11-17
分布シフト下での学習を再定義する「Shift Multiaccuracy」:汎化性能の理論的極致
Multiaccuracy as an Error Benchmark for Learning with Distribution Shift
出典:arXiv cs.LG (Machine Learning)(Authors: Konstantinos Stavropoulos | 2026-11-15)
- 分布シフト(Domain Shift)を伴う学習において、最適な誤差指標として「Shift Multiaccuracy」を導入。
- 従来のTDS(Testable Learning with Distribution Shift)が抱えていた「訓練時とテスト時が一致する場合の誤差増幅」という理論的欠陥を解消。
- 教師なしドメイン適応(UDA)において、テストラベルに依存しない鋭い汎化保証と直接的な最小化を可能にする。
2026-11-08
SAMをベイズ目的関数の最適緩和として定義する理論的解明
SAM as an Optimal Relaxation of Bayes
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Thomas Möllenhoff, Mohammad Emtiyaz Khan | 2022-10-04)
- Sharpness-aware minimization (SAM) を、Fenchel双対性を用いたベイズ目的関数の最適凸下界としての緩和として理論的に定式化した。
- この理論的接続により、SAMを拡張したAdamのような手法を構築し、自動的な不確実性推定を可能にした。
- 敵対的学習とベイズ手法を統合することで、モデルの汎化性能とロバスト性の向上を同時に達成する新たな道筋を提示した。
2026-11-08
ラベル表現の多様化による、型付き決定モデルの性能向上
Label-Wording Augmentation in a Typed-Decision Encoder: Gains on Unfamiliar Words, Not on Abbreviations or Codes
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Vladimir Beskorovainyi | 2026-11-05)
- 本研究は、型付き決定モデルにおけるラベル表現の多様化が、モデルの性能向上に寄与することを実証した。
- ラベル表現の多様化(ラベルワード表現の拡張)により、モデルは未知語に対するロバスト性を向上させ、既存手法を凌駕する。
- 特に、開発者が制御できないラベル表現の変動に対する適応性が必要な、多言語型付き決定モデルにおいて有効である。
2026-11-08
経験的ベイズ縮小を用いたペア比較モデルの改善
Improving pairwise comparison models using Empirical Bayes shrinkage
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Stephen Ragain, Alexander Peysakhovich, Johan Ugander | 2018-07-24)
- ショッピングやスポーツ等のペア比較データにおいて、サンプル数が少ない場合の予測精度向上を目的とする。
- 最大尤度推定(MLE)よりも、縮小推定(Shrinkage Estimators)を用いる方が、少数のデータセットにおいて優れた性能を示すことを指摘。
- 条件付き多項ロジットモデル等の標準的なモデルでは「勝者」のみを扱うため、比較プロセスそのものを考慮した縮小推定手法を導出。
2026-11-08
RLHF報酬モデルの校正のための評価者別経験ベイズ収縮(PEBS)
PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Arnav Raj | 2026-06-25)
- RLHFの報酬モデルにおいて、複数の評価者の異なる評価スケール(オフセットや傾き)を単一の平均的な適合に統合してしまう問題を解決。
- 各評価者ごとに個別の線形校正(Affine Calibrator)を適合させ、経験ベイズ(Morris-James-Stein)を用いて母集団平均へ収縮させる手法を提案。
- 報酬モデルの再学習を必要とせず、クローズドフォーム(解析的解)で計算可能であり、PRISMやPluriHarmsデータセットでRMSEを大幅に改善。
2026-11-08
時間依存PDEの不確実性推定:コンフォマル予測の理論的限界と実用的な改善策
Conformal Prediction for Time-Dependent PDEs
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Joshua Stiller, Annika Schneider, Eyke Hüllermeier | 2026-11-05)
- 本研究は、時間依存偏微分方程式(PDE)を近似するモデルにおける不確実性推定手法であるコンフォマル予測の理論的な限界を明らかにしました。
- 時間依存性の強い問題において、コンフォマル予測のカバー率保証が崩れる原因を、関数空間における確率分布の相互の特異性、および離散化における総変動距離の飽和という観点から分析しました。
- 特定の条件下では、重み付きコンフォマル予測を用いることで、時間軸に沿ったカバー率保証を実現できることを示しました。
2026-11-08
大ステップ数におけるAdversarial Trainingの幾何学的解析:Robustnessの限界と収束性
Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Yi Feng, Andrea Paudice | 2026-11-05)
- * Adversarial Training (AT) における「大ステップ数(Large Step Size)」
2026-11-08
オンポリシー蒸留:GRPOと比較して、教師モデルのチェックポイントを蒸留することで計算効率が劇的に向上する
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Zeyu Leo Liu, Yang Li, Bo Pang et al. | 2026-11-05)
- 本論文は、オンポリシー蒸留 (OPD) が、特に教師モデルとして自身のGRPOチェックポイントを使用する場合、GRPOと比較して計算効率が大幅に向上することを示しています。
- GRPOと比較して、OPDは同じ精度を達成するために必要なFLOPsを50倍削減できる可能性があり、大規模言語モデルの効率的な学習に貢献します。
- 特に、複数のドメインにわたるタスクにおいて、GRPOの専門家を単一の学生モデルに統合するマルチティーチャOPDは、計算コストを大幅に削減しつつ、高い性能を維持できます。
2026-11-08
AI生成論文の典型的な「意味の欠落」と「不透明な技術用語の羅列」に対する批判的分析
The most scathing reviewer 2 review I have ever read
出典:Reddit r/MachineLearning(ML Research Community)
- * 本リポジトリ/論文は、一連の高度な技術用語("sparse latent dynamics", "factor-level residual bounds"等)を組み合
2026-11-08
オンライン3D箱詰め問題におけるSHORE: 安定性モデリングによる効率的な空間利用と学習速度向上
SHORE: Stability-Hybrid On-Policy Reinforcement Learning for Online Bin Packing
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Chang Shi, Ann Majewicz Fey | 2026-11-05)
- SHOREは、オンライン3D箱詰め問題における箱の配置順序、向き、位置を決定する手法であり、特に未知の箱の到着に対応する。
- SHOREは、安定性モデリングにより、既存手法と比較して空間利用率を向上させ、学習ステップ数を大幅に削減する(0.4Mステップ vs 1Mステップ)。
- SHOREは、シミュレーション環境(Isaac Gym)および実ロボット環境での検証を通じて、その有効性と実装の容易性を示している。
2026-11-08
パッチ長が予測精度に与える影響に関する理論的枠組みと選択基準
Patch Attention Wisely: Understanding Patch Length in Attention-Based Forecasting
出典:arXiv stat.ML (Statistical ML)(Authors: Junyu Chen, Likai Chen, Weining Wang | 2026-11-05)
- 本研究は、注意機構ベースの時間系列予測において、パッチ長が予測精度に与える影響に関する理論的枠組みを提示する。
- 線形状態空間モデルにおける予測係数行列の分解と、表現誤差と推定誤差のバランスを考慮したパッチ選択基準を導出する。
- 予測構造、ヘッド数、訓練サンプルサイズ、長期依存性などがパッチ選択基準にどのように影響するかを明確にする。
2026-11-08
超鞅(Supermartingales)を用いた重い裾を持つ損失関数に対するPAC-Bayes汎化境界
PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Maxime Haddouche, Benjamin Guedj | 2022-10-03)
- 重い裾を持つ(Heavy-tailed)損失関数に対するPAC-Bayes汎化境界を、損失関数の分散が有界であるという最小限の仮定の下で導出。
- 超鞅に対するマルコフの不等式の拡張を主要な技術的貢献として活用。
- バッチ学習およびオンライン学習の両方において、境界のない鞅(Unbounded martingales)に対する境界を提供し、既存のPAC-Bayesianフレームワークを統合・拡張。
2026-11-08
ニューラルネットワークの重み補間における一時的な精度向上現象(BUMP)とその活用によるアンサンブル手法の提案
BUMP: Brief Unexpected Mid-Interpolation Peak
出典:arXiv stat.ML (Statistical ML)(Authors: Melinda Flóra Kiss, Márton Muntag, Adrián Csiszárik et al. | 2026-11-05)
- 本研究では、ニューラルネットワークの重み補間時に、補間の端点付近で一時的に精度が向上する現象(BUMP)を初めて体系的に分析し報告しています。
- BUMP現象を活用した新しいアンサンブル手法(weight-prediction mixed ensembling)を提案し、従来のlogitアンサンブルよりも高い精度とキャリブレーション性能を実現しました。
- この手法は、特に大規模なデータセットや複雑なアーキテクチャを用いたモデルにおいて、その効果を発揮すると考えられます。
2026-11-08
GP-NASを用いたスタッキングアンサンブルによるマルチタスクNAS性能予測
Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Ke Zhang | 2023-05-02)
- 少数の学習サンプルからアーキテクチャの性能を正確に予測するための過学習抑制とマルチタスク相関の活用を追求。
- ViT-Baseをベースとした探索空間(深さ、ヘッド数、MLP比率、埋め込み次元)に対し、データの前処理で複雑性を削減。
- GP-NASを用いたクロスバリデーションによるスタッキングアンサンブルを採用し、CVPR 2022 Track 2 Challengeで1位を獲得。
2026-11-08
グラフニューラルネットワークの最適化を、グラフ構造と表現に合わせた幾何学で加速するGraphMuon
Module-Aware Optimization for Graph Neural Networks
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Guy Hadad, Haggai Roitman, Moshe Eliasof et al. | 2026-11-05)
- グラフニューラルネットワーク(GNN)の最適化において、パラメータ更新の幾何学が重要であるという問題提起。
- 提案手法GraphMuonは、グラフ構造によって伝播する表現を考慮した幾何学的な直交化と、ステップサイズを適応的に調整することで、AdamWを性能・効率で上回る。
- ノード分類、誘導グラフ分類、グラフ回帰といったタスクにおいて、幅広いデータセットとアーキテクチャ構成で有効であり、特に大規模なOGBベンチマークで顕著な効果を発揮する。
2026-11-08
ラプラス法に対する低ランク変分ベイズ補正
Low-rank variational Bayes correction to the Laplace method
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Janet van Niekerk, Haavard Rue | 2021-11-25)
- 複雑なモデルや大規模データにおいて、厳密な推論が困難な場合の近似推論手法を提案。
- ラプラス法で初期近似を行い、その後に低次元空間で変分ベイズ補正(VBC)を適用するハイブリッド手法を導入。
- 計算コストをラプラス法と同等に抑えつつ、モデルの複雑さやデータサイズに対するスケーラビリティを確保。
2026-11-08
組み合わせ最適化におけるLSTM Encoderの順序バイアスとPointer Networkの有効性
Combinatorial Optimization with Pointer Networks: Theory, Benchmarks, and Limitations [P]
出典:Reddit r/MachineLearning(ML Research Community)
- 組み合わせ最適化問題(例:2D Euclidean TSP)に対するPointer Networkの有効性と、LSTM Encoderの順序バイアスがパフォーマンスを阻害する可能性を指摘。
- 既存の順序依存モデル(LSTM Encoder)は、問題の不変性(permutation invariance)とミスマッチを起こし、パフォーマンスを低下させる。
- 大規模な問題スケール(N=20〜200)において、Pointer NetworkはGoogle OR-Toolsに対しても競争力のある、高速な(ミリ秒単位)高品質な解を生成する。
2026-11-08
EBPO: グループ相対ポリシー最適化を安定化するための経験ベイズ縮小法
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Kevin Han, Yuhang Zhou, Mingze Gao et al. | 2026-02-05)
- LLMの推論能力向上に有効なRLVR(検証可能な報酬を用いた強化学習)において、GRPOが抱える推定分散の高さと勾配消失問題を特定。
- 局所的なグループ統計量のみに依存せず、ポリシーの蓄積されたグローバル統計量を利用してベースラインを正則化するEBPOを提案。
- Welfordのオンラインアルゴリズムを用いてグローバル事前分布を更新し、動的に局所統計と統合する縮小推定(Shrinkage Estimator)を導入。
2026-11-08
時系列グローバル予測における系列分割クロスバリデーションの有効性評価
Series-wise Cross-validation for Global Time Series Forecasting
出典:arXiv stat.ML (Statistical ML)(Authors: Vitor Cerqueira, Mariana Oliveira, Luis Roque | 2026-11-05)
- 本研究は、深層学習モデルを用いたグローバル時系列予測における系列分割クロスバリデーション(Series-wise CV)の有効性を評価する。
- 系列分割CVは、モデル選択を促進し、時間と系列を横断した汎化性能を向上させることで、ダウンストリーム予測精度を改善する。
- 既存の時間分割CVと比較して、系列分割CVは、モデル選択における優位性を示す一方で、サンプル外エラーの推定にはわずかな短所も存在する。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。