KNOWLEDGE VAULT — TAG
タグ「報酬関数」
収蔵 30件
2026-11-19
検索拡張型LLMにおける「証拠の有用性」に基づく動的なクレジット割り当て(ECA)
Evidence-Based Credit Assignment for Search-Augmented Language Models
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.23824)
- 検索拡張型言語モデル(Search-Augmented LM)に対し、最終的な正誤報酬だけでなく、検索された証拠の有用性を評価する「Evidence-based Credit Assignment (ECA)」を提案。
- 従来のOutcome Supervisionでは「無意味な検索」も正解に寄与したと誤認されるが、ECAは凍結されたポリシーを用いて証拠の寄与度を分離評価することで、学習の効率を劇的に改善。
- MultiHop-RAGを含む複数の検索QAベンチマークにおいて、特にQwen2.5等の軽量モデルで顕著な精度向上(最大4.8pt)と、マルチホップ推論への強い汎用性を示した。
2026-11-19
メカニスティック・クリティックによるサンプル効率の高いNPU設計空間探索(DSE)の最適化
Mechanistic Critics for Sample-Efficient NPU Design-Space Exploration
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.24733)
- LLM推論用NPUの設計空間探索(DSE)において、シミュレータの「遅延・電力」というスカラーなフィードバックを超え、ボトルネックの要因を特定する「Mechanistic Critic」を提案。
- 従来のシミュレータ依存の探索に対し、ハードウェア制約に基づく予測と演算子レベルの実行時間集計を組み合わせることで、シミュレーション回数を約半分に抑えつつ高精度な最適化を実現。
- 特に、計算スループットとHBM帯域のどちらが制約となるかが変動する「Prefill」および「Decode」のワークロードにおいて、極めて高い探索効率を発揮する。
2026-11-19
温度調整と自己学習を統合した高効率なニューラルサンプラー:SSSの構築
Amortizing Tempered Sampling with Corrected Self-Training
出典:arXiv stat.ML (Statistical ML)(Authors: Hoang-Viet Nguyen, Hai-Dang Dau, Alexandre H. Thiéry | 2026-11-17)
- 非正規化分布からのサンプリングコストを削減する、ニューラルサンプラーの学習手法の提案。
- 温度調整(Tempering)と重要度サンプリング(Importance Sampling)を組み合わせた「修正付き自己学習」により、高品質な学習データの獲得を克服。
- 複雑なエネルギー地形を持つ分布において、少ないエネルギー評価数で高精度なサンプリングを実現する。
2026-11-19
GameRealm:ゲーム環境を基盤としたマルチモーダル・視覚知能の超大規模データセット
GameRealm: Grounding Visual Learning in Interactive Games
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.23140)
- ゲーム内の視覚情報を、同期された操作入力・3D軌跡・深度等のマルチモーダルな教師データと紐付けた大規模データセット「GameRealm」の提案。
- 断片的なデータや不均一なアノテーションの課題を、人間とエージェントを組み合わせた統一データ収集パイプラインと、1億超のRGBフレームによる網羅性で解決。
- 視覚生成(Generation)および幾何学的学習(Geometric Learning)の両面において、視覚基盤モデルの性能を安定的に強化する。
2026-11-19
時間不均一線形MDPにおける分散依存型強化学習の効率化と決定論的環境への最適化
Efficient Variance-Aware Reinforcement Learning in Time-Inhomogeneous Linear MDPs
出典:arXiv stat.ML (Statistical ML)(Authors: Qingyue Zhao, Qiwei Di, Jiafan He et al. | 2026-11-17)
- 時間不均一な線形MDP(Time-Inhomogeneous Linear MDPs)における、分散の大きさに応じた後悔(Regret)の理論とアルゴリズムを提案。
- 既存手法では決定論的環境でも残存していた$K^{1/4}$の誤差項を排除し、分散の最小値に適合する$\tilde{O}(d\sqrt{H\min\{\mathrm{Var}_K^*,\mathrm{Var}_K^π\}}+d^5H^4)$の境界を達成。
- ノイズの少ない(決定論的な)環境では極めて高い精度を維持しつつ、高ノイズ環境では分散を考慮した効率的な学習を実現する。
2026-11-18
AIコーディングエージェントの「失敗へのコスト」:推論コストの64%が無駄になる実態と評価の重要性
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
出典:Hacker News (Top Stories)(HN Score: 15 pts by Edward40)
- AIコーディングエージェントの実行において、推論コストの64%が「失敗した実行」に費やされているという実態の報告。
- 単なる成功率の向上だけでなく、失敗に至るまでの推論コスト(経済性)と実行の質を統合的に評価する「FrontierHarness」の導入。
- LLMを用いた複雑なソフトウェア開発や、反復的な試行錯誤を伴うエージェントシステムの実装において、コスト効率を最適化する際に極めて有効。
2026-11-18
再帰的推論をエネルギー関数で制御する「Energy-Based Reasoners (EBR)」の提案
Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.08977)
- 再帰的構造(Looping)を用いた潜在空間での多段階推論を、エネルギー関数に基づく勾配降下として定式化した研究。
- 「いつ停止するか」「どう改善するか」という既存のループモデルの課題を、エネルギーの勾配による指針と停止条件の明示化で解決。
- 数独(Sudoku-Extreme)等のアルゴリズム推論や、複数の正解が存在する多解問題において、極めて高い精度と推論効率を両立。
2026-11-18
「抜け穴(Loopholes)」の悪用を排除し、堅牢なシステム設計と倫理的AIを追求する
Loopholes Are for Assholes
出典:Hacker News (Top Stories)(HN Score: 84 pts by speckx)
- システムの脆弱性や「抜け穴」を悪用する行為に対する倫理的・設計的批判。
- 単なる技術的最適化ではなく、意図しない副作用や悪用を前提とした「堅牢性(Robustness)」の重要性を強調。
- AIの安全性、ガバナンス、およびエッジケースにおけるモデルの挙動制御において極めて重要。
2026-11-18
強化学習を用いたSMEFT演算子空間の効率的な探索と多様な理論仮説の生成
A Reinforcement Learning Method to Navigate SMEFT Operator Space
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.21439)
- 強化学習(RL)を用いて、膨大な組み合わせが存在する標準模型有効場理論(SMEFT)の演算子空間を探索する手法の提案。
- ランダム探索と比較し、相関の強い複数の演算子を効率的に組み合わせ、グローバルな適合度を向上させる多様な理論を抽出。
- 多次元の観測量(132項目)が存在し、組み合わせ爆発が起きる高次元の離散・連続混合最適化問題において威力を発揮。
2026-11-17
ソフトウェア開発における「組織内連携」の壁:Coding Agentの要件把握と完遂能力の評価
SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations
出典:Hugging Face Daily Papers(Upvotes: 22 | arXiv:2611.20218)
- ソフトウェア組織を模した環境で、Coding Agentの「要件把握・連携・実装」の完遂能力を評価する新ベンチマーク「SWE-CoWork」を提案。
- 既存の単発タスク解決とは異なり、分散した情報(同僚の知識や記録)を統合し、矛盾を解消しながら実装する「組織内動態」の難しさを浮き彫りにした。
- 複雑な依存関係を持つ大規模リポジトリや、要件が断片化された実務に近いエンジニアリング環境において、Agentの真の能力を測る指標として威力を発揮する。
2026-11-17
ChatGPT Wallet:AIエージェントによる自律的な決済・経済圏の統合
ChatGPT Wallet
出典:Hacker News (Top Stories)(HN Score: 17 pts by drodio)
- OpenAIが発表した、AIエージェントが自律的に資金を管理・決済を行うための「ChatGPT Wallet」に関する動向。
- 従来の「指示待ちのAI」から、ユーザーの権限下で自律的に支払いや契約を完結させる「実行型AI」への進化。
- AIエージェントによる自動予約、EC購入、SaaSのサブスクリプション管理など、実世界の経済活動を伴うタスクで威力を発揮する。
2026-11-17
動的需要と機能拡張に対応する、統治型継続自己学習フレームワーク「G-CAST」
G-CAST: Governed Continual Self-Training for E-Commerce Agents under Evolving Demands
出典:Hugging Face Daily Papers(Upvotes: 16 | arXiv:2611.17814)
- Eコマースエージェントにおける「需要のドリフト(変化)」と「実行能力(ツール等)の進化」に同時に対応する継続学習システム。
- 報酬ルーティングとエントロピー優先順位付けを用いたデータ選別、および統治型チェックポイント遷移により、新機能の習得と既存能力の維持を両立。
- ユーザーの要求が日々変化し、かつシステム側のツールや手順が頻繁に更新される実運用環境(B2B調達等)で極めて高い効果を発揮。
2026-11-16
分布の近似一致における発散関数の数値的不安定性と安定化手法の体系化
On numerical issues of divergences between nearly equal distributions
出典:arXiv stat.ML (Statistical ML)(Authors: Brandon Amos | 2026-11-13)
- SoftmaxやSoft Cross-Entropyに加え、KLダイバージェンス、JSD、エントロピー等の標準的な分布間発散関数における数値的不安定性を特定。
- 分布が極めて近い(Nearly Equal)際に発生する丸め誤差や打ち消し誤差を、数値的に安定な再定式化によって解決。
- 知識蒸留、強化学習、近接勾配法など、分布の近似や最適化の安定性が極めて重要なタスクで威力を発揮。
2026-11-15
ICLR採択数の急増に伴う査読システムへの負荷と採択率変動の予測
With 42k submissions to ICLR, do you think the acceptance rate will stay the same? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ICLRへの投稿数が42,000件に急増したことによる採択率への影響に関する議論。
- 従来の採択率(約26-28%)を維持するか、会場・査読リソースの制約により採択数を制限するかを検討。
- 研究コミュニティにおける「投稿数の爆発」と「査読の質・量」のトレードオフを分析する際に有用。
2026-11-15
NVIDIAの黄氏離脱によるAIスタートアップ資金調達への影響と市場流動性の変化
Jensen Huang’s departure blasts big hole in AI startup funding, VCs and founders say
出典:TechCrunch AI(AI Industry)
- NVIDIAのCEOであるJensen Huangの離脱が、AIスタートアップへの資金供給に大きな穴を開けるという市場の懸念。
- 従来の「NVIDIA主導の巨額投資」から、より保守的で小規模なチェック(出資額)および低評価額へのシフトが予想される。
- AIインフラ投資の動向分析や、VCの資金配分モデル、AIエコシステムの経済動態を予測する問題設定で重要となる。
2026-11-15
ICLR 2027 査読結果予測・評価ツールに関するコミュニティ動向
ICLR 2027 Reviews Discussion [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ICLR 2027の査読結果公開に向けた、採択確率予測ツールの話題。
- PaperCopilotやPaperScorerといった、査読内容から採択の可能性を推測する外部ツールの紹介。
- 研究の質を定量的に評価・予測する試みであり、研究戦略の策定に寄与する。
2026-11-15
時系列予測における「市場含意(Market-Implied)」へのベンチマーク転換と区間予測の重要性
Should short-horizon price forecasting papers benchmark against market-implied forecasts, not just naive baselines? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- 短期的な価格予測(仮想通貨・商品等)における評価指標の妥当性に関する議論。
- 単純なランダムウォークやARIMAを上回るだけでなく、オプションのインプライド・ボラティリティ等の「市場の期待値」を上回るかを評価すべき。
- 点予測(RMSE)よりも、確信度を伴う区間予測(例:80%信頼区間のカバー率)が実用的な精度を測る上で極めて重要。
2026-11-14
ニューロシンボリックRLによる投資制約の内部化:連続アクション空間での制約遵守最適化
Internalizing Investment Mandates: A Neurosymbolic RL Approach to Portfolio Allocation
出典:arXiv cs.LG (Machine Learning)(Authors: Zeynep Yıldız, Satchit Chatterji, Ercan Atam et al. | 2026-11-12)
- 投資方針(IPS)に基づく資産配分制約を、強化学習(RL)の目的関数に直接組み込むニューロシンボリック手法の提案。
- 従来の報酬ペナルティ型や離散アクション前提のPLPGに対し、再パラメータ化モンテカルロサンプリングを用いた連続アクション空間での制約充足確率を学習。
- 市場レジームに応じた複雑な多重制約下において、後処理(Post-hoc)なしで制約違反を劇的に抑制(96%→4.8%)する。
2026-11-14
フィードバック遅延の戦略的導入による敵対的MDPにおける理論的限界の突破
Introducing Feedback Delays to Non-Delayed Adversarial MDPs: Optimal $\sqrt S$ and $\sqrt K$ Dependencies in Tabular and Linear AMDPs
出典:arXiv stat.ML (Statistical ML)(Authors: Aarush Kulkarni, Khang Nguyen, William Chang et al. | 2026-11-12)
- 未知の遷移確率とバンディットフィードバックを伴う敵対的MDP(AMDP)における後悔(Regret)最小化の最適化。
- 「フィードバック遅延」を意図的に導入する新手法により、Tabular設定での$\sqrt{S}$のギャップを解消し、Linear設定では$K$に対する最適依存度を達成。
- 動的なポリシー変化と過去データの相関に悩まされる、探索と活用のバランスが極めて難しい強化学習問題で威力を発揮する。
2026-11-09
AI科学者のための「実行可能な研究世界」:論文を動く環境へ変換するScientist World
Scientist World: Grow a Research World for AI-Scientists
出典:arXiv cs.LG (Machine Learning)(Authors: Taiming Lu, Sachin Konan, Zhuang Liu | 2026-11-05)
- AI科学者が自律的に研究を進めるための「実行可能な研究環境(Scientist World)」の構築と、最初の1,000の検証済み環境の公開。
- 従来の「読めるだけ」の論文を「実行可能な環境」へ変換することで、AIが実験・失敗・成功の全プロセスを学習・追体験可能にする。
- 研究のアイデア創出において、小規模モデルを最大158%向上させ、最先端モデルに匹敵する能力まで引き上げることが可能。
2026-11-08
経験的ベイズ縮小を用いたペア比較モデルの改善
Improving pairwise comparison models using Empirical Bayes shrinkage
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Stephen Ragain, Alexander Peysakhovich, Johan Ugander | 2018-07-24)
- ショッピングやスポーツ等のペア比較データにおいて、サンプル数が少ない場合の予測精度向上を目的とする。
- 最大尤度推定(MLE)よりも、縮小推定(Shrinkage Estimators)を用いる方が、少数のデータセットにおいて優れた性能を示すことを指摘。
- 条件付き多項ロジットモデル等の標準的なモデルでは「勝者」のみを扱うため、比較プロセスそのものを考慮した縮小推定手法を導出。
2026-11-08
RLHF報酬モデルの校正のための評価者別経験ベイズ収縮(PEBS)
PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Arnav Raj | 2026-06-25)
- RLHFの報酬モデルにおいて、複数の評価者の異なる評価スケール(オフセットや傾き)を単一の平均的な適合に統合してしまう問題を解決。
- 各評価者ごとに個別の線形校正(Affine Calibrator)を適合させ、経験ベイズ(Morris-James-Stein)を用いて母集団平均へ収縮させる手法を提案。
- 報酬モデルの再学習を必要とせず、クローズドフォーム(解析的解)で計算可能であり、PRISMやPluriHarmsデータセットでRMSEを大幅に改善。
2026-11-08
Appleの「グレーリスト」:LLM/予測変換における意図的な制約とバイアス制御
Apple’s grey list: Words and phrases your iPhone won’t help you spell
出典:Hacker News (Top Stories)(HN Score: 391 pts by user_7832)
- AppleのiPhoneが特定の単語(蔑称や差別用語など)のスペル修正を意図的に制限する「グレーリスト」の仕組みに関する報告。
- 純粋な確率論的予測(次単語予測)に対し、倫理的・社会的制約を後処理(Post-processing)で強制的に介入させる手法。
- LLMの安全性(Safety Alignment)や、ユーザーインターフェースにおける「不適切な出力の抑制」という制約付き最適化問題に適用可能。
2026-11-08
AI生成論文の典型的な「意味の欠落」と「不透明な技術用語の羅列」に対する批判的分析
The most scathing reviewer 2 review I have ever read
出典:Reddit r/MachineLearning(ML Research Community)
- * 本リポジトリ/論文は、一連の高度な技術用語("sparse latent dynamics", "factor-level residual bounds"等)を組み合
2026-11-08
オンライン3D箱詰め問題におけるSHORE: 安定性モデリングによる効率的な空間利用と学習速度向上
SHORE: Stability-Hybrid On-Policy Reinforcement Learning for Online Bin Packing
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Chang Shi, Ann Majewicz Fey | 2026-11-05)
- SHOREは、オンライン3D箱詰め問題における箱の配置順序、向き、位置を決定する手法であり、特に未知の箱の到着に対応する。
- SHOREは、安定性モデリングにより、既存手法と比較して空間利用率を向上させ、学習ステップ数を大幅に削減する(0.4Mステップ vs 1Mステップ)。
- SHOREは、シミュレーション環境(Isaac Gym)および実ロボット環境での検証を通じて、その有効性と実装の容易性を示している。
2026-11-08
理論重視論文における査読の罠:ICLRにおける「理論 vs 実験」の評価乖離と戦略
ICLR27 math and stats paper review experience [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ICLRにおける「応用理論(Applied Theory)」系論文の査読傾向に関する実体験報告。
- 理論的貢献(証明等)が主軸であっても、査読者は新規性不足や実験不足を理由に低評価を下す傾向がある。
- 特に「証明が正しいと仮定すれば結論は自明である」という評価は、理論の純粋性よりも実用的なインパクトを重視する傾向を示唆している。
2026-11-08
ベイズ相関均衡、ベイズゲームにおけるノーレグレット動態、および無秩序の価格
Bayes correlated equilibria, no-regret dynamics in Bayesian games, and the price of anarchy
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Kaito Fujii | 2023-04-11)
- 不完全情報ゲーム(ベイズゲーム)における相関均衡の効率的な計算と、無秩序の価格(Price of Anarchy)の境界に関する研究。
- 従来のノーレグレット動態ではベイズゲームにおける相関均衡の定義が複数存在し、計算可能性や性能保証が不明確であった問題を特定。
- 「不誠実なスワップ・レグレット(untruthful swap regret)」という新しいレグレットの概念を導入し、効率的な計算と性能保証の両立を提案。
2026-11-08
ラプラス法に対する低ランク変分ベイズ補正
Low-rank variational Bayes correction to the Laplace method
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Janet van Niekerk, Haavard Rue | 2021-11-25)
- 複雑なモデルや大規模データにおいて、厳密な推論が困難な場合の近似推論手法を提案。
- ラプラス法で初期近似を行い、その後に低次元空間で変分ベイズ補正(VBC)を適用するハイブリッド手法を導入。
- 計算コストをラプラス法と同等に抑えつつ、モデルの複雑さやデータサイズに対するスケーラビリティを確保。
2026-11-08
エネルギー効率を考慮した節約型ベイズ最適化
Energy-aware frugal Bayesian optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Gaston Plat, Paul Saves, Nathalie Bartoli et al. | 2026-09-11)
- 従来のベイズ最適化は予測精度の最大化に特化しており、計算コスト(エネルギー消費)のバランスが考慮されていない。
- 計算エネルギーのフットプリントを定量化する指標をベイズ最適化フレームワークに導入し、性能と節約性の両立を図る。
- 実験の結果、最適解への収束性とエネルギー消費の間のトレードオフを明らかにするとともに、両方を改善する構成の発見も確認された。
2026-11-08
EBPO: グループ相対ポリシー最適化を安定化するための経験ベイズ縮小法
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Kevin Han, Yuhang Zhou, Mingze Gao et al. | 2026-02-05)
- LLMの推論能力向上に有効なRLVR(検証可能な報酬を用いた強化学習)において、GRPOが抱える推定分散の高さと勾配消失問題を特定。
- 局所的なグループ統計量のみに依存せず、ポリシーの蓄積されたグローバル統計量を利用してベースラインを正則化するEBPOを提案。
- Welfordのオンラインアルゴリズムを用いてグローバル事前分布を更新し、動的に局所統計と統合する縮小推定(Shrinkage Estimator)を導入。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。