KNOWLEDGE VAULT — TAG
タグ「ハイパーパラメータ最適化」
収蔵 14件
2026-11-19
メカニスティック・クリティックによるサンプル効率の高いNPU設計空間探索(DSE)の最適化
Mechanistic Critics for Sample-Efficient NPU Design-Space Exploration
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.24733)
- LLM推論用NPUの設計空間探索(DSE)において、シミュレータの「遅延・電力」というスカラーなフィードバックを超え、ボトルネックの要因を特定する「Mechanistic Critic」を提案。
- 従来のシミュレータ依存の探索に対し、ハードウェア制約に基づく予測と演算子レベルの実行時間集計を組み合わせることで、シミュレーション回数を約半分に抑えつつ高精度な最適化を実現。
- 特に、計算スループットとHBM帯域のどちらが制約となるかが変動する「Prefill」および「Decode」のワークロードにおいて、極めて高い探索効率を発揮する。
2026-11-18
強化学習を用いたSMEFT演算子空間の効率的な探索と多様な理論仮説の生成
A Reinforcement Learning Method to Navigate SMEFT Operator Space
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.21439)
- 強化学習(RL)を用いて、膨大な組み合わせが存在する標準模型有効場理論(SMEFT)の演算子空間を探索する手法の提案。
- ランダム探索と比較し、相関の強い複数の演算子を効率的に組み合わせ、グローバルな適合度を向上させる多様な理論を抽出。
- 多次元の観測量(132項目)が存在し、組み合わせ爆発が起きる高次元の離散・連続混合最適化問題において威力を発揮。
2026-11-16
LLMの長文コンテキストを支配する位置エンコーディングの進化と構造的理解
Understanding Positional Embeddings in Modern LLMs
出典:Hacker News (Top Stories)(HN Score: 83 pts by vismit2000)
- Transformerモデルが単語の順序を学習するための「位置エンコーディング(PE)」の進化と数理的背景の解説。
- 従来の絶対位置(Sinusoidal等)から、相対位置やRoPE、ALiBiといった「外挿性(Extrapolation)」に優れた手法への変遷を詳述。
- 長文生成、文書要約、および学習時より長いシーケンスを推論する際の精度維持に極めて強力な効果を発揮する。
2026-11-15
ICLR採択数の急増に伴う査読システムへの負荷と採択率変動の予測
With 42k submissions to ICLR, do you think the acceptance rate will stay the same? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ICLRへの投稿数が42,000件に急増したことによる採択率への影響に関する議論。
- 従来の採択率(約26-28%)を維持するか、会場・査読リソースの制約により採択数を制限するかを検討。
- 研究コミュニティにおける「投稿数の爆発」と「査読の質・量」のトレードオフを分析する際に有用。
2026-11-09
ゲーム開発におけるボトルネックの正体:アート制作の遅延ではなく「意思決定と構造」の不備
I Have Never Seen a Game Fail Because the Artists Were Too Slow
出典:Hacker News (Top Stories)(HN Score: 4 pts by pje)
- ゲーム開発の失敗要因は「アート制作の速度」ではなく、プロジェクトの構造的欠陥や意思決定の遅れにあるという実務的洞察。
- リソースの供給速度(アート)を改善するよりも、要件定義の明確化とフィードバックループの高速化がプロジェクトの成功を左右する。
- 複雑な依存関係を持つプロジェクト管理や、マルチモーダルな要素が絡むプロダクト開発における「ボトルネック特定」のフレームワークとして有用。
2026-11-09
宣言的ドラッギング:UI/UXにおける状態管理と動的座標操作の抽象化
Declarative Dragging
出典:Hacker News (Top Stories)(HN Score: 193 pts by smusamashah)
- UI要素のドラッグ操作を「命令的(座標の直接更新)」ではなく「宣言的(状態の定義)」に扱うフレームワークの提案。
- 座標計算の重複や競合を排除し、複雑な制約条件(境界、衝突、親子関係)を関数的に記述可能にする。
- 複雑なGUI設計、動的グラフのノード操作、または制約付きの空間配置最適化問題に威力を発揮する。
2026-11-09
AI科学者のための「実行可能な研究世界」:論文を動く環境へ変換するScientist World
Scientist World: Grow a Research World for AI-Scientists
出典:arXiv cs.LG (Machine Learning)(Authors: Taiming Lu, Sachin Konan, Zhuang Liu | 2026-11-05)
- AI科学者が自律的に研究を進めるための「実行可能な研究環境(Scientist World)」の構築と、最初の1,000の検証済み環境の公開。
- 従来の「読めるだけ」の論文を「実行可能な環境」へ変換することで、AIが実験・失敗・成功の全プロセスを学習・追体験可能にする。
- 研究のアイデア創出において、小規模モデルを最大158%向上させ、最先端モデルに匹敵する能力まで引き上げることが可能。
2026-11-08
DOME:生物学における教師あり機械学習の検証のための推奨事項
DOME: Recommendations for supervised machine learning validation in biology
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Ian Walsh, Dmytro Fishman, Dario Garcia-Gasulla et al. | 2020-06-25)
- 生物学分野における機械学習の信頼性を高めるため、標準的な検証プロトコル(DOME)を提案。
- データ、最適化、モデル、評価(Data, Optimization, Model, Evaluation)の4つの側面から構造化された記述を求める。
- 研究者が実装時に回答すべき一連の質問を定義し、論文の補足資料への記載を推奨することで透明性を確保する。
2026-11-08
SCINet: サンプル畳み込みと相互作用を用いた時系列モデリングと予測
SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction
出典:arXiv Core: Tabular, GBDT & Time-Series(Authors: Minhao Liu, Ailing Zeng, Muxi Chen et al. | 2021-06-17)
- 時系列データの「ダウンサンプリング後も時間的関係が維持される」という特性を利活用した新アーキテクチャ。
- 「ダウンサンプル・畳み込み・相互作用」を繰り返す再帰的な構造により、多解像度の特徴を抽出。
- 既存の畳み込みモデルやTransformerベースのモデルを凌駕する予測精度を複数の実データセットで実証。
2026-11-08
交通時系列予測におけるカーネルリッジ回帰のための効率的なオンラインハイパーパラメータ最適化
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
出典:arXiv Core: Conformal, Calibration & Optimal Transport(Authors: Hongyuan Zhan, Gabriel Gomes, Xiaoye S. Li et al. | 2018-11-01)
- オンライン環境での時系列予測において、計算効率と予測精度の両立を目的としたハイパーパラメータ最適化手法を提案。
- 交通データ特有の性質(系列相関やデータの分布変化)に対応するため、周期的な再チューニングの計算負荷を大幅に削減。
- 提案手法は、他のチューニング手法と比較して計算時間を最大7分の1に抑えつつ、高い予測精度を維持することを確認。
2026-11-08
Survey Descent: 非平滑最適化のための勾配降下法の多点汎用化
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: X. Y. Han, Adrian S. Lewis | 2021-11-30)
- 滑らかな目的関数では勾配降下法により線形収束が保証されるが、非平滑な目的関数では従来の手法では累積勾配評価数に対する線形収束の保証が困難である。
- 本論文では、局所最適化のために勾配降下法を多点(Multipoint)へと拡張した「Survey Descent」を提案する。
- 「max-of-smooth(滑らかな関数の最大値)」モデルを動機として設計されており、このモデルにおいて線形収束を証明し、より一般的な目的関数でも同様の現象を確認した。
2026-11-08
安定性の境界における勾配降下法の振動を捉える:Central FlowとRod Flowの統合理論
Unifying Central Flow, Rod Flow, and the Edge Coupling
出典:arXiv stat.ML (Statistical ML)(Authors: Eric Regis, Sinho Chewi | 2026-11-05)
- 勾配降下法の「安定性の境界(Edge of Stability)」におけるヘッセ行列の鋭い方向への振動を記述する連続時間モデルの統合。
- 従来の勾配流(Gradient Flow)では表現できない振動挙動を、Central FlowやRod Flowを用いることで正確に近似・追跡可能にする。
- AdamやHeavy Ball等の慣性を持つ最適化アルゴリズムにおいて、学習の全フェーズ(安定域から振動域への遷移)を精度高く予測・制御する際に威力を発揮する。
2026-11-08
教師あり機械学習における意思決定のための学習曲線:サーベイ
Learning Curves for Decision Making in Supervised Machine Learning: A Survey
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Felix Mohr, Jan N. van Rijn | 2022-01-28)
- 学習曲線は、データ数や反復回数などのリソースに対するアルゴリズムの性能変化を評価する概念。
- データ収集の計画、早期終了(Early Stopping)、モデル選択などの意思決定において重要な役割を果たす。
- 学習曲線のモデル化により、初期段階でアルゴリズムやハイパーパラメータの適合性を予測し、選定プロセスを加速できる。
2026-11-08
エネルギー効率を考慮した節約型ベイズ最適化
Energy-aware frugal Bayesian optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Gaston Plat, Paul Saves, Nathalie Bartoli et al. | 2026-09-11)
- 従来のベイズ最適化は予測精度の最大化に特化しており、計算コスト(エネルギー消費)のバランスが考慮されていない。
- 計算エネルギーのフットプリントを定量化する指標をベイズ最適化フレームワークに導入し、性能と節約性の両立を図る。
- 実験の結果、最適解への収束性とエネルギー消費の間のトレードオフを明らかにするとともに、両方を改善する構成の発見も確認された。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。