KNOWLEDGE VAULT — TAG
タグ「勾配降下法」
収蔵 19件
2026-11-14
誤差逆伝播(Backpropagation)の直感的理解と重み更新の概念構造
Back Propagation [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ニューラルネットワークにおける誤差逆伝播(Backpropagation)の概念的理解に関する議論。
- 順伝播(Forward Propagation)による出力計算に対し、逆伝播による重み更新の「直感的な視覚化」を求める。
- ディープラーニングの基礎理論を習得する際の、勾配の連鎖律(Chain Rule)の概念把握に極めて重要。
2026-11-08
SAMをベイズ目的関数の最適緩和として定義する理論的解明
SAM as an Optimal Relaxation of Bayes
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Thomas Möllenhoff, Mohammad Emtiyaz Khan | 2022-10-04)
- Sharpness-aware minimization (SAM) を、Fenchel双対性を用いたベイズ目的関数の最適凸下界としての緩和として理論的に定式化した。
- この理論的接続により、SAMを拡張したAdamのような手法を構築し、自動的な不確実性推定を可能にした。
- 敵対的学習とベイズ手法を統合することで、モデルの汎化性能とロバスト性の向上を同時に達成する新たな道筋を提示した。
2026-11-08
回路およびGraverウォークと線形・整数計画法
Circuit and Graver Walks and Linear and Integer Programming
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Shmuel Onn | 2024-10-01)
- 線形計画法(LP)において、実行可能点から最適点への「回路ウォーク」が、線形代数操作と単一のLP解のみを用いて多項式時間で計算可能であることを証明。
- 整数計画法(IP)における「Graverウォーク」は、IPオラクルがあれば多項式時間で計算可能だが、オラクルなしでは最適解が既知であっても計算困難であることを示した。
- 疎な整数計画法の最新知見を組み合わせ、木深さ(tree-depth)および部分行列式(subdeterminants)が制限された行列に対しては、Graverウォークが多項式時間で計算可能であることを立証。
2026-11-08
Ky Fanノルムとそれ以降:行列最適化のための双対ノルムと組み合わせ
Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Alexey Kravatskiy, Ivan Kozyrev, Nikolai Kozlov et al. | 2025-12-10)
- 深層学習の重み行列最適化において、Muonの基礎となるスペクトルノルムを超え、Ky Fanノルムの双対ノルムを活用した「Fanion」ファミリーのLMOアルゴリズムを提案。
- Fanionの更新式とNormalized SGD(またはSignSGD)の凸結合により、F-FanionおよびS-Fanionという新たなアルゴリズム群を構築。
- 広範な実験により、F-MuonおよびS-MuonがMuonと同等の性能を維持しつつ、合成滑らかな凸問題においてMuonを上回ることを実証。
2026-11-08
意思決定依存型不確実性を伴う確率計画問題のためのL型法
The L-Shaped Method for Stochastic Programs with Decision-Dependent Uncertainty
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Giovanni Pantuso, Mike Hewitt | 2025-06-15)
- 意思決定依存型不確実性(Decision-Dependent Uncertainty)を含む二段階確率計画問題を解くためのL型法の拡張を提案。
- 線形および整数確率計画の両方に対応する、分布固有の最適性カットおよび実行可能カットを導入。
- 3つの生産計画問題を用いた大規模なテストにより、大規模インスタンスに対する極めて高い有効性を実証。
2026-11-08
近似最適デノイジング行列を用いたDantzig Selectorと強化学習への応用
Dantzig Selector with an Approximately Optimal Denoising Matrix and its Application to Reinforcement Learning
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Bo Liu, Luwan Zhang, Ji Liu | 2018-11-02)
- Dantzig Selector(DS)はスパース学習や特徴量選択で広く用いられるが、従来のデータ行列をデノイジング行列として用いる手法は必ずしも最適ではない。
- 最適なデノイジング行列を定義するためにミニマックス最適化を導入したが、これはNP困難な問題となる。
- 計算の実行可能性を確保するため、近似的な最適デノイジング行列を求める新アルゴリズム「Optimal Denoising Dantzig Selector (ODDS)」を提案する。
2026-11-08
LoRAにおけるスペクトル・サブスペースダイナミクス解析:SFTとRLの共通基盤と最適化戦略
Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Chenruo Liu, Zihan Wang, Yijun Dong et al. | 2026-11-05)
- 本研究は、教師あり微調整(SFT)と強化学習(RL)において共通して用いられるLoRA (Low-rank Adaptation) の最適化ダイナミクスを解析した。
- グループ平均ベースライン減算が、SFTとRLにおける異なる最適化ダイナミクスを駆動する共通の要因であり、スペクトル集中とサブスペース回転を促進する。
- 数学的な推論タスクにおいて、SFTとRLに特化した設定が、他の手法よりも優れたパフォーマンスを示すことが実験的に確認された。
2026-11-08
Hyper-Trees:勾配ブースティングを用いた時系列モデルのパラメータ推定フレームワーク
Forecasting with Hyper-Trees
出典:arXiv Core: Tabular, GBDT & Time-Series(Authors: Alexander März, Kashif Rasul | 2024-05-13)
- 従来の時系列直接予測ではなく、ARIMAや指数平滑化などの時系列モデルの「パラメータ」を特徴量の関数として学習する手法を提案。
- 決定木の構造(Tabularデータへの強み)と古典的な時系列モデルを組み合わせることで、木モデルに時系列的な帰納バイアスを導入。
- 高次元なパラメータ推定におけるスケーラビリティ問題を解決するため、決定木による特徴量抽出と浅いニューラルネットワークを統合したハイブリッド構造を採用。
2026-11-08
大ステップ数におけるAdversarial Trainingの幾何学的解析:Robustnessの限界と収束性
Adversarial Training with Large Step Sizes: Implicit Bias, Optimization, and Sharpness
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Yi Feng, Andrea Paudice | 2026-11-05)
- * Adversarial Training (AT) における「大ステップ数(Large Step Size)」
2026-11-08
制約付き最適化のための反復ソルバーの自己教師あり学習
Self-Supervised Learning of Iterative Solvers for Constrained Optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Lukas Lüken, Sergio Lucia | 2024-09-12)
- モデル予測制御などのリアルタイム性が求められる制約付き最適化問題に対し、ニューラルネットワークを用いた高速な反復ソルバーを提案。
- 初期推定値を生成する予測ネットワークと、それを高精度に洗練させる学習済み反復ソルバーの2段階構成を採用。
- KKT条件に基づく独自の損失関数を導入することで、正解ラベル(事前計算された最適解)を必要としない完全な自己教師あり学習を実現。
2026-11-08
確率的(近似)近接点法:収束性、最適性、および適応性
Stochastic (Approximate) Proximal Point Methods: Convergence, Optimality, and Adaptivity
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Hilal Asi, John C. Duchi | 2018-10-12)
- 確率的凸最適化問題を解くためのモデルベース手法「aProx(近似近接点法)」ファミリーを提案。
- 従来の確率的サブグラディエント法と比較して、計算コストを抑えつつ、より強力な収束性と堅牢性を保証。
- 「容易な最適化問題」に対しては、目的関数の強い成長条件の下で線形収束を達成する適応性を備える。
2026-11-08
Survey Descent: 非平滑最適化のための勾配降下法の多点汎用化
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: X. Y. Han, Adrian S. Lewis | 2021-11-30)
- 滑らかな目的関数では勾配降下法により線形収束が保証されるが、非平滑な目的関数では従来の手法では累積勾配評価数に対する線形収束の保証が困難である。
- 本論文では、局所最適化のために勾配降下法を多点(Multipoint)へと拡張した「Survey Descent」を提案する。
- 「max-of-smooth(滑らかな関数の最大値)」モデルを動機として設計されており、このモデルにおいて線形収束を証明し、より一般的な目的関数でも同様の現象を確認した。
2026-11-08
安定性の境界における勾配降下法の振動を捉える:Central FlowとRod Flowの統合理論
Unifying Central Flow, Rod Flow, and the Edge Coupling
出典:arXiv stat.ML (Statistical ML)(Authors: Eric Regis, Sinho Chewi | 2026-11-05)
- 勾配降下法の「安定性の境界(Edge of Stability)」におけるヘッセ行列の鋭い方向への振動を記述する連続時間モデルの統合。
- 従来の勾配流(Gradient Flow)では表現できない振動挙動を、Central FlowやRod Flowを用いることで正確に近似・追跡可能にする。
- AdamやHeavy Ball等の慣性を持つ最適化アルゴリズムにおいて、学習の全フェーズ(安定域から振動域への遷移)を精度高く予測・制御する際に威力を発揮する。
2026-11-08
超鞅(Supermartingales)を用いた重い裾を持つ損失関数に対するPAC-Bayes汎化境界
PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Maxime Haddouche, Benjamin Guedj | 2022-10-03)
- 重い裾を持つ(Heavy-tailed)損失関数に対するPAC-Bayes汎化境界を、損失関数の分散が有界であるという最小限の仮定の下で導出。
- 超鞅に対するマルコフの不等式の拡張を主要な技術的貢献として活用。
- バッチ学習およびオンライン学習の両方において、境界のない鞅(Unbounded martingales)に対する境界を提供し、既存のPAC-Bayesianフレームワークを統合・拡張。
2026-11-08
グラフニューラルネットワークの最適化を、グラフ構造と表現に合わせた幾何学で加速するGraphMuon
Module-Aware Optimization for Graph Neural Networks
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Guy Hadad, Haggai Roitman, Moshe Eliasof et al. | 2026-11-05)
- グラフニューラルネットワーク(GNN)の最適化において、パラメータ更新の幾何学が重要であるという問題提起。
- 提案手法GraphMuonは、グラフ構造によって伝播する表現を考慮した幾何学的な直交化と、ステップサイズを適応的に調整することで、AdamWを性能・効率で上回る。
- ノード分類、誘導グラフ分類、グラフ回帰といったタスクにおいて、幅広いデータセットとアーキテクチャ構成で有効であり、特に大規模なOGBベンチマークで顕著な効果を発揮する。
2026-11-08
ラプラス法に対する低ランク変分ベイズ補正
Low-rank variational Bayes correction to the Laplace method
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Janet van Niekerk, Haavard Rue | 2021-11-25)
- 複雑なモデルや大規模データにおいて、厳密な推論が困難な場合の近似推論手法を提案。
- ラプラス法で初期近似を行い、その後に低次元空間で変分ベイズ補正(VBC)を適用するハイブリッド手法を導入。
- 計算コストをラプラス法と同等に抑えつつ、モデルの複雑さやデータサイズに対するスケーラビリティを確保。
2026-11-08
エネルギー効率を考慮した節約型ベイズ最適化
Energy-aware frugal Bayesian optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Gaston Plat, Paul Saves, Nathalie Bartoli et al. | 2026-09-11)
- 従来のベイズ最適化は予測精度の最大化に特化しており、計算コスト(エネルギー消費)のバランスが考慮されていない。
- 計算エネルギーのフットプリントを定量化する指標をベイズ最適化フレームワークに導入し、性能と節約性の両立を図る。
- 実験の結果、最適解への収束性とエネルギー消費の間のトレードオフを明らかにするとともに、両方を改善する構成の発見も確認された。
2026-11-08
MerLin: フォトニックおよびハイブリッド量子機械学習のためのディスカバリーエンジン
MerLin: A Discovery Engine for Photonic and Hybrid Quantum Machine Learning
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Cassandre Notton, Benjamin Stott, Philippe Schoeb et al. | 2026-02-11)
- フォトニックおよびハイブリッド量子機械学習(QML)における実用的な利点を体系的に探索するためのオープンソースフレームワーク「MerLin」を提案。
- PyTorchおよびscikit-learnのワークフローに最適化された線形光学回路の強力なシミュレーションを統合し、量子層のエンドツーエンドの微分可能学習を実現。
- カーネル法、リザーバコンピューティング、CNN/RNN、生成モデルなど、最新のQML研究18件を再現可能なモジュールとして提供。
2026-11-08
敵対的ベイズ分類器の存在性に関する研究(拡張版)
On the Existence of the Adversarial Bayes Classifier (Extended Version)
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Pranjal Awasthi, Natalie S. Frank, Mehryar Mohri | 2021-12-03)
- 敵対的堅牢性(Adversarial Robustness)におけるベイズ最適分類器の存在に関する基礎的な問いを調査。
- 敵対的堅牢性においてベイズ最適分類器の存在を保証するための一般的な十分条件を提示。
- 代理損失(Surrogate Losses)の性質や一貫性を研究するための理論的基盤を提供。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。