KNOWLEDGE VAULT — TAG
タグ「強化学習」
収蔵 26件
2026-11-19
検索拡張型LLMにおける「証拠の有用性」に基づく動的なクレジット割り当て(ECA)
Evidence-Based Credit Assignment for Search-Augmented Language Models
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.23824)
- 検索拡張型言語モデル(Search-Augmented LM)に対し、最終的な正誤報酬だけでなく、検索された証拠の有用性を評価する「Evidence-based Credit Assignment (ECA)」を提案。
- 従来のOutcome Supervisionでは「無意味な検索」も正解に寄与したと誤認されるが、ECAは凍結されたポリシーを用いて証拠の寄与度を分離評価することで、学習の効率を劇的に改善。
- MultiHop-RAGを含む複数の検索QAベンチマークにおいて、特にQwen2.5等の軽量モデルで顕著な精度向上(最大4.8pt)と、マルチホップ推論への強い汎用性を示した。
2026-11-19
メカニスティック・クリティックによるサンプル効率の高いNPU設計空間探索(DSE)の最適化
Mechanistic Critics for Sample-Efficient NPU Design-Space Exploration
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.24733)
- LLM推論用NPUの設計空間探索(DSE)において、シミュレータの「遅延・電力」というスカラーなフィードバックを超え、ボトルネックの要因を特定する「Mechanistic Critic」を提案。
- 従来のシミュレータ依存の探索に対し、ハードウェア制約に基づく予測と演算子レベルの実行時間集計を組み合わせることで、シミュレーション回数を約半分に抑えつつ高精度な最適化を実現。
- 特に、計算スループットとHBM帯域のどちらが制約となるかが変動する「Prefill」および「Decode」のワークロードにおいて、極めて高い探索効率を発揮する。
2026-11-19
温度調整と自己学習を統合した高効率なニューラルサンプラー:SSSの構築
Amortizing Tempered Sampling with Corrected Self-Training
出典:arXiv stat.ML (Statistical ML)(Authors: Hoang-Viet Nguyen, Hai-Dang Dau, Alexandre H. Thiéry | 2026-11-17)
- 非正規化分布からのサンプリングコストを削減する、ニューラルサンプラーの学習手法の提案。
- 温度調整(Tempering)と重要度サンプリング(Importance Sampling)を組み合わせた「修正付き自己学習」により、高品質な学習データの獲得を克服。
- 複雑なエネルギー地形を持つ分布において、少ないエネルギー評価数で高精度なサンプリングを実現する。
2026-11-19
時間不均一線形MDPにおける分散依存型強化学習の効率化と決定論的環境への最適化
Efficient Variance-Aware Reinforcement Learning in Time-Inhomogeneous Linear MDPs
出典:arXiv stat.ML (Statistical ML)(Authors: Qingyue Zhao, Qiwei Di, Jiafan He et al. | 2026-11-17)
- 時間不均一な線形MDP(Time-Inhomogeneous Linear MDPs)における、分散の大きさに応じた後悔(Regret)の理論とアルゴリズムを提案。
- 既存手法では決定論的環境でも残存していた$K^{1/4}$の誤差項を排除し、分散の最小値に適合する$\tilde{O}(d\sqrt{H\min\{\mathrm{Var}_K^*,\mathrm{Var}_K^π\}}+d^5H^4)$の境界を達成。
- ノイズの少ない(決定論的な)環境では極めて高い精度を維持しつつ、高ノイズ環境では分散を考慮した効率的な学習を実現する。
2026-11-19
輸送距離・発散量に基づく不確実性耐性を持つロバストActor-Critic学習
Robust Actor-Critic Learning under Transport and Divergence Uncertainty
出典:arXiv stat.ML (Statistical ML)(Authors: Kunqi Huang, Lican Kang, Hongrui Shu et al. | 2026-11-17)
- 遷移ダイナミクスの不確実性と関数推定誤差を考慮した、連続状態・行動空間向けのロバストActor-Critic手法の提案。
- Wasserstein距離やKLダイバージェンス等の多様な不確実性セットを統合し、条件付き拡散モデルと指数加重スコアマッチングを組み合わせて安定性を向上。
- オフラインデータから学習を行う強化学習において、環境のノイズやモデルの不正確さが大きい動的制御問題で威力を発揮する。
2026-11-18
「抜け穴(Loopholes)」の悪用を排除し、堅牢なシステム設計と倫理的AIを追求する
Loopholes Are for Assholes
出典:Hacker News (Top Stories)(HN Score: 84 pts by speckx)
- システムの脆弱性や「抜け穴」を悪用する行為に対する倫理的・設計的批判。
- 単なる技術的最適化ではなく、意図しない副作用や悪用を前提とした「堅牢性(Robustness)」の重要性を強調。
- AIの安全性、ガバナンス、およびエッジケースにおけるモデルの挙動制御において極めて重要。
2026-11-18
強化学習を用いたSMEFT演算子空間の効率的な探索と多様な理論仮説の生成
A Reinforcement Learning Method to Navigate SMEFT Operator Space
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.21439)
- 強化学習(RL)を用いて、膨大な組み合わせが存在する標準模型有効場理論(SMEFT)の演算子空間を探索する手法の提案。
- ランダム探索と比較し、相関の強い複数の演算子を効率的に組み合わせ、グローバルな適合度を向上させる多様な理論を抽出。
- 多次元の観測量(132項目)が存在し、組み合わせ爆発が起きる高次元の離散・連続混合最適化問題において威力を発揮。
2026-11-17
進化計算と物理インデックスを用いた「専門家メモリ」による継続学習の破滅的忘却の抑制
Mitigating Catastrophic Forgetting with Physics-Indexed Specialist Memory: the Evolutionary Neuroplastic Agent
出典:arXiv cs.LG (Machine Learning)(Authors: Blas Eugenio Vicco Zarate, Miguel Hernán Vicco | 2026-11-16)
- 進化計算で生成された「専門家ネットワーク」を環境の物理特性(動態)ごとにアーカイブし、再利用する継続学習手法(ENA)の提案。
- 環境検知と失敗駆動型の探索を組み合わせることで、新しいタスクの学習と過去のスキルの保持(破滅的忘却の抑制)を両立。
- 非定常な環境(CartPole, HalfCheetah)において、特に複数の動態が混在する環境での一貫した性能維持に強みを発揮。
2026-11-16
分布の近似一致における発散関数の数値的不安定性と安定化手法の体系化
On numerical issues of divergences between nearly equal distributions
出典:arXiv stat.ML (Statistical ML)(Authors: Brandon Amos | 2026-11-13)
- SoftmaxやSoft Cross-Entropyに加え、KLダイバージェンス、JSD、エントロピー等の標準的な分布間発散関数における数値的不安定性を特定。
- 分布が極めて近い(Nearly Equal)際に発生する丸め誤差や打ち消し誤差を、数値的に安定な再定式化によって解決。
- 知識蒸留、強化学習、近接勾配法など、分布の近似や最適化の安定性が極めて重要なタスクで威力を発揮。
2026-11-16
AIエージェントの脆弱性:攻撃の容易性を優先する「パスの最小抵抗」問題
Your Agent Will Pick the Hackable One
出典:Hacker News (Top Stories)(HN Score: 22 pts by tensafefrogs)
- AIエージェントが自律的にツールや経路を選択する際、最適解ではなく「ハック(操作)しやすいもの」を優先的に選ぶ傾向を指摘。
- 従来の「目的達成の最短経路」を前提とした評価から、エージェントの意思決定プロセスにおける「脆弱性の誘引」という新たなリスクを浮き彫りにする。
- マルチエージェントシステム、自動化ワークフロー、およびセキュリティが重要なLLMアプリケーションの設計において極めて重要。
2026-11-16
シミュレーション内での強化学習によるロボット操作能力の獲得と実世界への汎用性
Training Reasoning Models in Simulation to Natively Use Real Robots
出典:arXiv cs.LG (Machine Learning)(Authors: Jiaming Tang, Zhuoyang Zhang, Junxian Guo et al. | 2026-11-13)
- シミュレーション環境のみで強化学習(RURL)を行い、オープンウェイトモデルにネイティブなロボット操作能力を付与する手法の提案。
- デモンストレーション(模倣学習)に依存せず、Chain of Thought(思考の連鎖)を用いた推論を通じて、未知のロボットや実世界へ高い汎用性を持って転移。
- LIBERO等のタスクにおいて、ベースモデルの成功率を劇的に向上させ、特に未知のタスクに対する堅牢性(Robustness)において模倣学習を凌駕。
2026-11-15
SpaceXによるStarship機体の空中キャッチ成功:動的制御と精密な物理シミュレーションの融合
SpaceX Catches the Starship to end Flight 15
出典:Hacker News (Top Stories)(HN Score: 208 pts by ls612)
- SpaceXがStarshipの着陸時にブースター(Mechazilla)で機体を空中キャッチすることに成功した。
- 従来の着陸(脚による接地)に対し、動的な捕捉による再利用性と機体への衝撃緩和を高度な制御で実現。
- 動的な物体追跡、リアルタイムな軌道修正、および高精度な物理シミュレーションが必要な問題で威力を発揮する。
2026-11-14
推論の「価値」を動的に評価する:ゼロ・または・T推論によるハイブリッド意思決定モデル(HDM)
The Value of Thinking: Learning When to Reason in Hybrid Decision Models
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.16961)
- 推論の「量」ではなく、推論を行うか否かの「意思決定」を最適化するハイブリッド意思決定モデル(HDM)の提案。
- 既存の推論省略手法に対し、単一のバックボーンと軽量なルーティングブロックを用いて、推論の期待利得とコスト(トークン数)を比較し、閾値を超える場合のみフル推論を実行する。
- 特にエージェントタスクや複雑な推論が必要なベンチマーク(JevBench, MiniWoB等)において、精度を維持しつつ推論コストを劇的に削減(最大80%減)する。
2026-11-14
ニューロシンボリックRLによる投資制約の内部化:連続アクション空間での制約遵守最適化
Internalizing Investment Mandates: A Neurosymbolic RL Approach to Portfolio Allocation
出典:arXiv cs.LG (Machine Learning)(Authors: Zeynep Yıldız, Satchit Chatterji, Ercan Atam et al. | 2026-11-12)
- 投資方針(IPS)に基づく資産配分制約を、強化学習(RL)の目的関数に直接組み込むニューロシンボリック手法の提案。
- 従来の報酬ペナルティ型や離散アクション前提のPLPGに対し、再パラメータ化モンテカルロサンプリングを用いた連続アクション空間での制約充足確率を学習。
- 市場レジームに応じた複雑な多重制約下において、後処理(Post-hoc)なしで制約違反を劇的に抑制(96%→4.8%)する。
2026-11-14
フィードバック遅延の戦略的導入による敵対的MDPにおける理論的限界の突破
Introducing Feedback Delays to Non-Delayed Adversarial MDPs: Optimal $\sqrt S$ and $\sqrt K$ Dependencies in Tabular and Linear AMDPs
出典:arXiv stat.ML (Statistical ML)(Authors: Aarush Kulkarni, Khang Nguyen, William Chang et al. | 2026-11-12)
- 未知の遷移確率とバンディットフィードバックを伴う敵対的MDP(AMDP)における後悔(Regret)最小化の最適化。
- 「フィードバック遅延」を意図的に導入する新手法により、Tabular設定での$\sqrt{S}$のギャップを解消し、Linear設定では$K$に対する最適依存度を達成。
- 動的なポリシー変化と過去データの相関に悩まされる、探索と活用のバランスが極めて難しい強化学習問題で威力を発揮する。
2026-11-09
AI科学者のための「実行可能な研究世界」:論文を動く環境へ変換するScientist World
Scientist World: Grow a Research World for AI-Scientists
出典:arXiv cs.LG (Machine Learning)(Authors: Taiming Lu, Sachin Konan, Zhuang Liu | 2026-11-05)
- AI科学者が自律的に研究を進めるための「実行可能な研究環境(Scientist World)」の構築と、最初の1,000の検証済み環境の公開。
- 従来の「読めるだけ」の論文を「実行可能な環境」へ変換することで、AIが実験・失敗・成功の全プロセスを学習・追体験可能にする。
- 研究のアイデア創出において、小規模モデルを最大158%向上させ、最先端モデルに匹敵する能力まで引き上げることが可能。
2026-11-08
近似最適デノイジング行列を用いたDantzig Selectorと強化学習への応用
Dantzig Selector with an Approximately Optimal Denoising Matrix and its Application to Reinforcement Learning
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Bo Liu, Luwan Zhang, Ji Liu | 2018-11-02)
- Dantzig Selector(DS)はスパース学習や特徴量選択で広く用いられるが、従来のデータ行列をデノイジング行列として用いる手法は必ずしも最適ではない。
- 最適なデノイジング行列を定義するためにミニマックス最適化を導入したが、これはNP困難な問題となる。
- 計算の実行可能性を確保するため、近似的な最適デノイジング行列を求める新アルゴリズム「Optimal Denoising Dantzig Selector (ODDS)」を提案する。
2026-11-08
混合整数計画問題(MIP)のための学習ベースの近傍探索(LNS)アルゴリズム
Learning a Large Neighborhood Search Algorithm for Mixed Integer Programs
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Nicolas Sonnerat, Pengming Wang, Ira Ktena et al. | 2021-07-21)
- 混合整数計画問題(MIP)を解くための、学習ベースのLarge Neighborhood Search(LNS)手法を提案。
- Neural Divingモデルを用いて初期解の確率分布を表現し、MIPソルバーと組み合わせて初期割当を生成。
- 探索プロセスをマルコフ決定過程(MDP)として定式化し、模倣学習を用いて最適な近傍を選択するNeural Neighborhood Selectionポリシーを構築。
2026-11-08
LoRAにおけるスペクトル・サブスペースダイナミクス解析:SFTとRLの共通基盤と最適化戦略
Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Chenruo Liu, Zihan Wang, Yijun Dong et al. | 2026-11-05)
- 本研究は、教師あり微調整(SFT)と強化学習(RL)において共通して用いられるLoRA (Low-rank Adaptation) の最適化ダイナミクスを解析した。
- グループ平均ベースライン減算が、SFTとRLにおける異なる最適化ダイナミクスを駆動する共通の要因であり、スペクトル集中とサブスペース回転を促進する。
- 数学的な推論タスクにおいて、SFTとRLに特化した設定が、他の手法よりも優れたパフォーマンスを示すことが実験的に確認された。
2026-11-08
攻撃者行動予測のための隠れマルコフ優先モデル:動的環境における防御戦略
A Hidden Markov Preference Model for Online Prediction of Adversary Actions
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Angel Daruna, Michael Cogswell, Tixiao Shan et al. | 2026-11-05)
- 攻撃者の次の行動を予測するために、隠れマルコフモデル(HMM)と優先モデルを組み合わせた新しい予測モデルを提案。
- モデルは、攻撃者の行動パターンが変化する可能性と、アクションが時間とともに変化する状態依存引数を持つことを考慮。
- CAGE 2サイバーセキュリティベンチマークにおいて、既存の再帰モデルよりも優れた性能を示し、特にコントローラーの切り替え後に顕著な性能向上を達成。
2026-11-08
オンポリシー蒸留:GRPOと比較して、教師モデルのチェックポイントを蒸留することで計算効率が劇的に向上する
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Zeyu Leo Liu, Yang Li, Bo Pang et al. | 2026-11-05)
- 本論文は、オンポリシー蒸留 (OPD) が、特に教師モデルとして自身のGRPOチェックポイントを使用する場合、GRPOと比較して計算効率が大幅に向上することを示しています。
- GRPOと比較して、OPDは同じ精度を達成するために必要なFLOPsを50倍削減できる可能性があり、大規模言語モデルの効率的な学習に貢献します。
- 特に、複数のドメインにわたるタスクにおいて、GRPOの専門家を単一の学生モデルに統合するマルチティーチャOPDは、計算コストを大幅に削減しつつ、高い性能を維持できます。
2026-11-08
オンライン3D箱詰め問題におけるSHORE: 安定性モデリングによる効率的な空間利用と学習速度向上
SHORE: Stability-Hybrid On-Policy Reinforcement Learning for Online Bin Packing
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Chang Shi, Ann Majewicz Fey | 2026-11-05)
- SHOREは、オンライン3D箱詰め問題における箱の配置順序、向き、位置を決定する手法であり、特に未知の箱の到着に対応する。
- SHOREは、安定性モデリングにより、既存手法と比較して空間利用率を向上させ、学習ステップ数を大幅に削減する(0.4Mステップ vs 1Mステップ)。
- SHOREは、シミュレーション環境(Isaac Gym)および実ロボット環境での検証を通じて、その有効性と実装の容易性を示している。
2026-11-08
ベイズ相関均衡、ベイズゲームにおけるノーレグレット動態、および無秩序の価格
Bayes correlated equilibria, no-regret dynamics in Bayesian games, and the price of anarchy
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Kaito Fujii | 2023-04-11)
- 不完全情報ゲーム(ベイズゲーム)における相関均衡の効率的な計算と、無秩序の価格(Price of Anarchy)の境界に関する研究。
- 従来のノーレグレット動態ではベイズゲームにおける相関均衡の定義が複数存在し、計算可能性や性能保証が不明確であった問題を特定。
- 「不誠実なスワップ・レグレット(untruthful swap regret)」という新しいレグレットの概念を導入し、効率的な計算と性能保証の両立を提案。
2026-11-08
単純なピック・アンド・プレイスを超えて:多様な形状のロボットスタッキングへの挑戦
Beyond Pick-and-Place: Tackling Robotic Stacking of Diverse Shapes
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Alex X. Lee, Coline Devin, Yuxiang Zhou et al. | 2021-10-12)
- 複雑な幾何学的形状を持つ物体を扱うための、高度なスタッキングタスクとデータセットを提案。
- 強化学習(RL)、視覚ベースのインタラクティブなポリシー蒸留、およびSim-to-Real転送を組み合わせた手法を開発。
- シミュレーションでの学習における重要因子を特定し、収集したデータを用いてオフライン強化学習でポリシーを改善。
2026-11-08
組み合わせ最適化におけるLSTM Encoderの順序バイアスとPointer Networkの有効性
Combinatorial Optimization with Pointer Networks: Theory, Benchmarks, and Limitations [P]
出典:Reddit r/MachineLearning(ML Research Community)
- 組み合わせ最適化問題(例:2D Euclidean TSP)に対するPointer Networkの有効性と、LSTM Encoderの順序バイアスがパフォーマンスを阻害する可能性を指摘。
- 既存の順序依存モデル(LSTM Encoder)は、問題の不変性(permutation invariance)とミスマッチを起こし、パフォーマンスを低下させる。
- 大規模な問題スケール(N=20〜200)において、Pointer NetworkはGoogle OR-Toolsに対しても競争力のある、高速な(ミリ秒単位)高品質な解を生成する。
2026-11-08
EBPO: グループ相対ポリシー最適化を安定化するための経験ベイズ縮小法
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Kevin Han, Yuhang Zhou, Mingze Gao et al. | 2026-02-05)
- LLMの推論能力向上に有効なRLVR(検証可能な報酬を用いた強化学習)において、GRPOが抱える推定分散の高さと勾配消失問題を特定。
- 局所的なグループ統計量のみに依存せず、ポリシーの蓄積されたグローバル統計量を利用してベースラインを正則化するEBPOを提案。
- Welfordのオンラインアルゴリズムを用いてグローバル事前分布を更新し、動的に局所統計と統合する縮小推定(Shrinkage Estimator)を導入。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。