トップ › 知識庫 › タグ「Transformer」
KNOWLEDGE VAULT — TAG
タグ「Transformer」
収蔵 42件
2026-11-19
「Attention at Absolute Zero」:ソフトアテンションの限界を打破する「零度(Zero Temperature)」の高次推論層 Attention at Absolute Zero
出典:Hugging Face Daily Papers (Upvotes: 2 | arXiv:2611.11937)
ソフトアテンションの「重みの分散」「スコアの隙間」「状態のドリフト」という構造的欠陥を、零度(Zero Temperature)での高次アテンション層で解決する手法。 従来のソフトアテンションが大規模データで精度を落とすのに対し、本手法は「証人(Witnesses)」の比較ビットを用いることで、極めて高い正確性とスケーラビリティを両立。 論理推論(2-SAT、彩色問題)、家族関係の連鎖、CLUTRR等の複雑な関係性抽出において、既存のSOTAや凍結された7Bモデルを凌駕する性能を発揮。 2026-11-19
推論高速化の極致:メモリ保持と非一様層選択による次世代投機的デコーディング「DNeo」 DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding
出典:Hugging Face Daily Papers (Upvotes: 4 | arXiv:2611.21925)
投機的デコーディング(Speculative Decoding)におけるドラフトモデルの精度と推論速度を両立させる新手法「DNeo」の提案。 既存の「特徴量エンコーディング」が抱える「情報の損失」「記憶の欠如」「不適切な層のサンプリング」の3課題を、MoFA(Mixture-of-Features Attention)等で解決。 LLMの推論速度をSOTA(DFlash-2)比で1.3倍高速化しつつ、ドラフトモデルのサイズや生成品質を維持したまま性能を向上。 2026-11-19
対向角RGBカメラのみで実現するリアルタイムBEV軌道再構成と予測(OCTR2A) OCTR2A: Real-Time RGB-to-BEV Trajectory Projection and Forecasting at Urban Intersections
出典:arXiv cs.LG (Machine Learning) (Authors: Emanuele Iacobelli, Simone Teglia, Francesco Pro et al. | 2026-11-18)
高価なLiDARやHDマップを介さず、対向角のRGBカメラのみからBEV(鳥瞰図)軌道を再構成・予測する手法。 TransformerによるBEV投影とegocentric GRUを統合し、既存のBEV履歴を用いる手法に対しADE/FDEを大幅に改善。 合成データ(R3ST++)による事前学習と実世界への転移学習を組み合わせることで、インフラ制約の強い都市環境で威力を発揮。 2026-11-19
Attentionネットワークをハード論理回路へ変換:推論高速化と解釈性を両立する「テセウスの船」型置換手法 How to Turn an Attention Neural Network into an Interpretable Hard-Logic Predicate Circuit: Truth-Table Predicate Extraction and State-Machine Merging under Ship-of-Theseus Replacement
出典:arXiv cs.LG (Machine Learning) (Authors: Yuchen Li, Zongqi Fan, Xintong Li et al. | 2026-11-18)
学習済みAttentionネットワークを、0/1の述語と最小化された真理値表からなるハード論理回路へ変換する手法の提案。 GPU推論と比較して2〜3桁高速なFPGA実装を可能にしつつ、教師モデルの正解データのみを模倣することで高い精度を維持。 DistilGPT2やBERTを用いた感情分析等のタスクにおいて、極めて低消費電力かつ高速なエッジ推論を実現する。 2026-11-18
ViTの普及に対する批判的考察:計算資源の過剰さとハイブリッド構造の優位性 Why are ViTs so popular? [D]
出典:Reddit r/MachineLearning (ML Research Community)
Vanilla ViT(純粋なVision Transformer)の普及に対する、実用的な視点からの懐疑的分析。 CNNの誘導バイアス(空間的局所性)を捨ててゼロから学習するViTに対し、CNN+Attentionのハイブリッド構造の効率性を強調。 エッジデバイスや計算資源が限られた環境、あるいは特定の空間構造が強いデータセットにおいて、ハイブリッドモデルが実用的。 2026-11-18
Microsoftが発表した次世代コード生成モデル「MAI Code 2」と高速版「Flash」の全貌 MAI Code 2 and Code 2 Flash
出典:Hacker News (Top Stories) (HN Score: 205 pts by lemonish97)
Microsoftが開発した、高度な推論とコード生成に特化した最新のLLM「MAI Code 2」および高速推論版「Flash」の発表。 従来のモデルと比較し、複雑な論理推論能力を維持しつつ、Flashモデルでは極めて高いスループットと低遅延を実現。 大規模なソフトウェア開発、複雑なアルゴリズムの実装、およびリアルタイム性が求められるコード補完のタスクで圧倒的な性能を発揮。 2026-11-18
再帰的推論をエネルギー関数で制御する「Energy-Based Reasoners (EBR)」の提案 Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.08977)
再帰的構造(Looping)を用いた潜在空間での多段階推論を、エネルギー関数に基づく勾配降下として定式化した研究。 「いつ停止するか」「どう改善するか」という既存のループモデルの課題を、エネルギーの勾配による指針と停止条件の明示化で解決。 数独(Sudoku-Extreme)等のアルゴリズム推論や、複数の正解が存在する多解問題において、極めて高い精度と推論効率を両立。 2026-11-17
「Lattice of Latents」:計算状態の水平拡張による次世代の推論能力強化 Latent Lattice Language Models
出典:arXiv cs.LG (Machine Learning) (Authors: Shivam Duggal, Zongze Wu, William T. Freeman et al. | 2026-11-16)
深層構造や再帰的推論の深化ではなく、モデルが維持する「アクティブな計算状態(Latent Lattice)」の数を増やすことで計算能力を拡張する手法。 従来のTransformerやSSM(Mamba等)の残差ストリームに対し、時間軸に沿って持続する水平な潜在ストリームを付加することで、KVキャッシュやMLPの計算を直接条件付ける。 FineWeb-Edu等の大規模データを用いた学習において、パラメータ数を維持したままPerplexityを大幅に改善し、特にハイブリッド構造(Mamba-2等)との相乗効果が高い。 2026-11-17
VLMにおける視覚的推論の「計画性」の解明:Binding・Progress・Select・Gazeの4段階メカニズム How VLMs Plan What's Next
出典:arXiv cs.LG (Machine Learning) (Authors: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki et al. | 2026-11-16)
VLMが画像内のオブジェクトを記述する際の「次をどこを見るか」という計画プロセスを4つの内部機構として特定。 単なる逐次的な処理ではなく、進捗信号(Cursor)と未記述領域の選択という動的な計画メカニズムを解明。 マルチステップの複雑なタスクや、長大な推論(Long Rollouts)を要する視覚的QAにおいて、モデルの挙動予測に威力を発揮。 2026-11-17
気象予報士の「熟練の知見(テキスト)」をマルチモーダル学習で統合し、台風の強度予測精度を向上させる手法 Quantifying the added value of human forecaster discussions for tropical cyclone intensity prediction
出典:arXiv cs.LG (Machine Learning) (Authors: Ilia Azizi, Frederick Iat-Hin Tam, Marc-Olivier Boldi et al. | 2026-11-16)
気象予報士による「台風の議論(Discussion)」という非構造化テキストが、数値データ(SHIPS等)に付加価値を与えるかを検証。 テキスト情報を深層学習でエンコードし、既存の数値予測モデルとアンサンブルすることで、24時間後の最大風速のMAEを約10%改善。 特に「intensify(強まる)」「eyewall(眼の壁)」といった専門用語を含むテキスト情報が、人間の判断を反映する重要な特徴量として機能する。 2026-11-17
汎用生成モデルによる3D幾何学の制覇:Iris-Zによる「特化型モデル」の超越 Iris-Z: Scaling One Generative Model Past Specialist Geometry Models
出典:Hugging Face Daily Papers (Upvotes: 2 | arXiv:2611.16010)
単一の生成バックボーンで画像生成と深度推定(幾何学理解)を同時に行う「Iris-Z」の発表。 タスク特化型アーキテクチャを排除し、スケーリング則に基づいた汎用モデルでSOTAを上回る。 単眼深度推定、画像生成、深度に基づく画像再構成など、空間理解を伴う視覚タスクで威力を発揮。 2026-11-17
AISTATS 2027 採択論文の査読結果に関するコミュニティ議論 AISTATS 2027 paper discussion [D]
出典:Reddit r/MachineLearning (ML Research Community)
AISTATS 2027に投稿された論文の査読結果(Reviews)の公開に伴う議論。 特定の技術革新ではなく、最新の査読傾向やコミュニティの反応を収集するフェーズ。 特定のアルゴリズムへの適用ではなく、最新のSOTA研究動向を把握するための情報収集として機能する。 2026-11-17
微分可能有限状態トランスデューサ(DFST)による「正確な学習」と極限的な長さ汎化の実現 Differentiable Exact Learning
出典:arXiv stat.ML (Statistical ML) (Authors: Hristo Papazov, Francesco D'Angelo, Nicolas Flammarion | 2026-11-16)
外部環境と状態追跡ニューラルコントローラを結合し、内部状態を隠蔽した軌跡(PTOs)から学習する「微分可能正確学習(DEL)」フレームワークの提案。 従来のRNN/GRU等の連続的な表現に対し、DFST(微分可能有限状態トランスデューサ)を導入することで、計算の普遍性を維持しつつ極限的な長さ汎化を達成。 算術演算や万能シミュレーション(Turing Machine)といった、厳密な正確性が求められる離散的な論理構造の学習において圧倒的な威力を発揮する。 2026-11-17
AIセンサー特化型チップの台頭:Bharat SemiによるエッジAIハードウェアの市場進出 Indian chip startup Bharat Semi lands $24M seed round as it eyes global AI sensor market
出典:TechCrunch AI (AI Industry)
インドのチップスタートアップBharat Semiが、AI対応センサー技術で24Mドルのシード資金を獲得。 従来の汎用チップと比較し、センサーレベルでのAI処理を統合することで、低遅延かつ高効率なデータ抽出を実現。 防衛(General Atomics等)や自動運転など、リアルタイム性が要求されるエッジデバイスの推論・検知問題で威力を発揮。 2026-11-16
LLMの長文コンテキストを支配する位置エンコーディングの進化と構造的理解 Understanding Positional Embeddings in Modern LLMs
出典:Hacker News (Top Stories) (HN Score: 83 pts by vismit2000)
Transformerモデルが単語の順序を学習するための「位置エンコーディング(PE)」の進化と数理的背景の解説。 従来の絶対位置(Sinusoidal等)から、相対位置やRoPE、ALiBiといった「外挿性(Extrapolation)」に優れた手法への変遷を詳述。 長文生成、文書要約、および学習時より長いシーケンスを推論する際の精度維持に極めて強力な効果を発揮する。 2026-11-16
量子グラフニューラルネットワーク(QGNN)の体系的総括:表現力とスケーラビリティの限界と展望 Quantum Graph Neural Networks: Architectures, Trainability, and Applications
出典:arXiv cs.LG (Machine Learning) (Authors: Zeinab Sharifi, Hossein Shirazi | 2026-11-13)
量子回路をグラフ構造に適用し、古典的GNNの表現力や長距離情報伝達の限界を打破するQGNNの統一フレームワークを提示。 畳み込み、メッセージパッシング、ハミルトニアン等5つのアーキテクチャを分類し、対称性(置換不変性等)を主要な誘導バイアスとして特定。 現状はシミュレーションと小規模グラフが主流であり、古典モデルに対する明確な優位性は未確立だが、高エネルギー物理や化学等の特定領域に有望。 2026-11-16
潜在空間における双方向自己回帰を用いた人間動作のセマンティック表現学習 BAL: Bidirectional Autoregression in Latent Space for Learning Human Movement Representations
出典:arXiv cs.LG (Machine Learning) (Authors: Genki Kinoshita, Ko Nishino | 2026-11-13)
3Dポーズシーケンスから人間の動作の「意味(セマンティクス)」を抽出する自己教師あり学習フレームワーク「BAL」の提案。 人工的な制約(増強不変性やマスク復元)ではなく、人間の動作が持つ「自然な時間順序」を双方向の自己回帰として利用することで、ハイパーパラメータへの過度な依存を排除。 動作のキャプション生成、将来予測、補間といった、時系列の文脈理解が必要なタスクで高い性能を発揮する。 2026-11-16
タンパク質・リガンド相互作用における創発的能力を持つマルチモーダル基盤モデル「Bonbon」の解析 Emergent Biological Capabilities in a Foundation Model for Molecular Interactions
出典:Hugging Face Daily Papers (Upvotes: 5 | arXiv:2611.14504)
3.2兆トークンのタンパク質・リガンド配列から学習し、構造座標なしで相互作用を理解する基盤モデル「Bonbon」の発表。 従来のco-folding手法と比較し、5桁以上高速な推論速度を維持しつつ、SOTAの結合能・親和性予測を達成。 未知の複合体(OOD)に対しても、作用機序、結合部位、共有結合の有無をゼロショットで識別する創発的能力を発揮。 2026-11-16
マルチモーダルLLMの推論高速化:視覚依存度を適応的に制御する推論加速フレームワーク「MMFlash」 MMFlash: Faster Speculative Decoding for Vision-Language Models
出典:Hugging Face Daily Papers (Upvotes: 26 | arXiv:2611.18482)
Vision-Language Model(VLM)における推論を高速化する、投機的デコーディング(Speculative Decoding)のマルチモーダル拡張手法の提案。 視覚情報の依存度が高いトークンを特定し、ドラフターの予測精度を適応的に補強することで、既存手法(DFlash等)を大幅に上回る加速を実現。 特に長尺のビデオ入力など、視覚情報とテキストの密接な連動が必要なマルチモーダルタスクにおいて、精度を維持したまま最大3.58倍の高速化を達成。 2026-11-16
エルニーニョ現象の力学:時系列動態と気象変動の物理的メカニズム A short explainer on how El Niño works [video]
出典:Hacker News (Top Stories) (HN Score: 115 pts by nharada)
エルニーニョ現象(ENSO)における海洋と大気の相互作用および熱力学的プロセスに関する解説。 単なる統計的相関ではなく、海洋の熱輸送と大気循環のフィードバックループという物理的因果関係を提示。 気象予測、異常気象の長期予測、および物理制約を伴う時系列予測モデルのドメイン知識として極めて有用。 2026-11-16
マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性 [Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
出典:Reddit r/MachineLearning (ML Research Community)
マルチモーダルモデルにおけるVision Encoderの構成要素(事前学習、専用パラメータ、配置場所)を分離して検証した研究。 Vision Encoderの「事前学習」は任意(不要)だが、「Vision専用のパラメータ」は性能維持に不可欠であることを実証。 リソース制約下で効率的なマルチモーダルモデルを構築する際、Encoderを最初から学習させるよりも、LLMにVision専用の重みを統合する方が効率的。 2026-11-16
カラスの超高速意思決定メカニズム:生物学的知能から学ぶ高速推論の極致 'Birdbrain' Is a Misnomer. Crows Make Decisions Faster Than We Can
出典:Hacker News (Top Stories) (HN Score: 98 pts by gumby)
カラスの意思決定速度が人間の認知処理を凌駕しているという生物学的知見の提示。 従来の「単純な反射」ではなく、高度な情報統合を極めて短時間で行う「高速推論」の特性を解明。 動的な環境変化に対する即時反応や、極めて低遅延が要求されるリアルタイム推論モデルの設計に寄与。 2026-11-16
MoEにおける「局所的な誤差改善」と「最終出力の精度」の乖離:多段階推論におけるエキスパート共有の理論的境界 From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning
出典:arXiv cs.LG (Machine Learning) (Authors: Tiantong Wang, Zhiren Gong, Yixin Wang et al. | 2026-11-13)
MoEモデルにおける「層間・ステップ間でのエキスパート共有」が、最終的な推論精度に与える影響を数理的に解明。 局所的な予測誤差(Local Prediction Error)を減らしても、多段階の推論過程(Composition)を経て最終出力の誤差が増大する「リスクの逆転」現象を特定。 低データ環境のTransformerにおいて、教師あり学習(Teacher-forced)では改善が見られても、自由推論(Free-running)では改善が見られない現象を実証。 2026-11-15
LLMアーキテクチャの「試行錯誤」を資産化する:スケーリング則を用いた検証プラットフォームArchSpace ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
出典:arXiv cs.LG (Machine Learning) (Authors: Jie Wang, Tong Zhu, JiaHao Kuang et al. | 2026-11-12)
LLMのアーキテクチャ設計における「成功例・失敗例・その理由」を記録・レビュー・参照するための公開プラットフォームArchSpaceの提案。 小規模な実験結果からスケーリング則を用いて大規模モデルでの挙動を予測することで、高コストな大規模学習の前にアーキテクチャの有効性を評価可能にする。 DeepSeekやQwenのような最新モデルの構造設計や、計算リソースの制約下での効率的なアーキテクチャ選定において極めて強力な武器となる。 2026-11-15
化学から生物学への進化:複雑系における創発と動的相互作用の統合 The Evolving Story of How Chemistry Became Biology
出典:Hacker News (Top Stories) (HN Score: 7 pts by pseudolus)
化学反応のネットワークから生物学的システムへと至る、物質の「動的相互作用」の進化過程を分析した知見。 静的な構造解析ではなく、時間軸と相互作用の密度を考慮した「動的創発」の視点を取り入れることで、複雑なシステムの挙動予測を改善。 創薬、タンパク質構造予測、または多変数間の複雑な相関を伴うバイオインフォマティクス等の高次元データ解析で威力を発揮。 2026-11-15
非英語圏言語における生成AIの計算コスト増大とエネルギー効率の乖離 Generative AI uses more energy on non-English text
出典:Hacker News (Top Stories) (HN Score: 68 pts by DeepLogin)
非英語のテキストを処理する際の生成AIのエネルギー消費が、英語と比較して顕著に高いという研究結果。 トークナイザーの効率性の差により、同一意味の文章でも非英語ではより多くのトークンに分割されることが原因。 多言語対応モデルのデプロイ時や、計算リソースの制約がある環境での推論コスト最適化において重要な知見となる。 2026-11-15
地政学リスク下における高リスク・高リターンな「ホルムズ海峡貿易」の動態分析 A rare glimpse inside the high-risk, high-reward Hormuz trade
出典:Hacker News (Top Stories) (HN Score: 62 pts by everybodyknows)
地政学的緊張(ホルムズ海峡)を伴う高リスクな海上貿易における、供給網の脆弱性と経済的リターンに関する分析。 従来の定常的な物流予測に対し、突発的な地政学的イベント(チョークポイントの閉鎖等)を考慮した動的なリスク評価を導入。 エネルギー市場、サプライチェーンの強靭性評価、および極端なボラティリティを伴う資産価格予測において威力を発揮する。 2026-11-15
低リソース環境におけるEEG信号を用いたてんかん検知:Graph Attention Networksの適用 Graph Attention Networks for Detecting Epilepsy From EEG Signals Using Accessible Hardware in Low-Resource Settings [R]
出典:Reddit r/MachineLearning (ML Research Community)
低コストなハードウェアとEEG(脳波)信号を用いたてんかん検知におけるGraph Attention Networks(GAT)の適用。 従来の時系列解析に対し、脳の領域間相互作用をグラフ構造として捉えることで、空間的な依存関係をより正確に抽出。 ウェアラブルデバイスや低リソース環境など、計算資源が限られた環境でのリアルタイムな異常検知に威力を発揮。 2026-11-15
時系列予測における「市場含意(Market-Implied)」へのベンチマーク転換と区間予測の重要性 Should short-horizon price forecasting papers benchmark against market-implied forecasts, not just naive baselines? [D]
出典:Reddit r/MachineLearning (ML Research Community)
短期的な価格予測(仮想通貨・商品等)における評価指標の妥当性に関する議論。 単純なランダムウォークやARIMAを上回るだけでなく、オプションのインプライド・ボラティリティ等の「市場の期待値」を上回るかを評価すべき。 点予測(RMSE)よりも、確信度を伴う区間予測(例:80%信頼区間のカバー率)が実用的な精度を測る上で極めて重要。 2026-11-14
LLMのコンテキスト寄与度を高速推定する「スキッチング」アルゴリズム Sketching Language Models for Context Attribution
出典:arXiv cs.LG (Machine Learning) (Authors: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas et al. | 2026-11-12)
プロンプトの一部を削除した際のLLMの出力変化(Leave-One-Out Attribution)を高速に推定する手法の提案。 従来の$n$回の推論を要する計算を、安定性仮定の下で$O(\sqrt{\log(1/\varepsilon)}/\varepsilon)$の評価回数に劇的に削減。 長大なコンテキストを持つLLMにおいて、特定のトークンが推論に与える影響度(寄与度)を効率的に解析する際に威力を発揮。 2026-11-14
誤差逆伝播(Backpropagation)の直感的理解と重み更新の概念構造 Back Propagation [D]
出典:Reddit r/MachineLearning (ML Research Community)
ニューラルネットワークにおける誤差逆伝播(Backpropagation)の概念的理解に関する議論。 順伝播(Forward Propagation)による出力計算に対し、逆伝播による重み更新の「直感的な視覚化」を求める。 ディープラーニングの基礎理論を習得する際の、勾配の連鎖律(Chain Rule)の概念把握に極めて重要。 2026-11-14
異種ロボット・人間間の知能を統合する「Embodiment Dreaming」によるクロス・エンボディメント学習 EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.16728)
異なる形態(人間、実機ロボット、シミュレーション)の操作データを統合的に学習する「EgoX」フレームワークの提案。 モジュール化されたTransformer(MXT+)と、各形態の動態を予測する「Embodiment Dreaming」により、異種間のモダリティ差を克服。 特に未知の環境(Out-of-Distribution)において、事前学習によるタスク進捗率が大幅に向上(0.53→0.77)する。 2026-11-14
LoRAと合成データを用いたTransformerによる連続血糖値(CGM)予測モデルの構築 I have trained a model to predict my blood sugar [P]
出典:Reddit r/MachineLearning (ML Research Community)
合成データによる事前学習とLoRAを用いた個人データへの適応を組み合わせた、Encoder-only Transformerによる血糖値予測モデルの構築。 大規模な合成データ(19,200 CGM年分)による事前学習と、DILATEリスク空間へのマッピングにより、予測精度と反事実的推論能力を両立。 時系列データ(CGM、インスリン、炭水化物)を入力とし、将来予測、欠損補完、過去へのバックキャストを単一モデルで実行可能。 2026-11-09
GAP (Gated Attention Projection): AttentionとMLPを統合しパラメータを最大34%削減する新アーキテクチャ I merged attention and MLP processing into a single gated Transformer block. GAP [R]
出典:Reddit r/MachineLearning (ML Research Community)
AttentionとMLPの処理を単一のGated Transformerブロックに統合する「GAP」構造の提案。 標準的なTransformerと比較し、精度を維持しつつパラメータ数を約20%(最大34%)削減可能。 WikiText-103を用いた実験では、パラメータ削減とモデル幅の拡張を両立させることで効率的な学習を実現。 2026-11-08
オンライン偽ニュース検出における機械学習モデルのベンチマーク研究 A Benchmark Study of Machine Learning Models for Online Fake News Detection
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian (Authors: Junaed Younus Khan, Md. Tawkat Islam Khondaker, Sadia Afroz et al. | 2019-05-12)
SNS上での偽ニュース拡散による社会的影響を抑制するため、多様なデータセットを用いた機械学習モデルの比較評価を実施。 従来の機械学習、ディープラーニング、および最新の事前学習済み言語モデル(PLM)を網羅的にベンチマーク。 特にデータセットが極めて小さい条件下において、BERT等の事前学習済みモデルが最も優れた検出性能を示すことを特定。 2026-11-08
動的システムの解きほぐし:因果表現学習と局所スパースアテンションの融合 Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian (Authors: Markus W. Baumgartner, Anson Lei, Joe Watson et al. | 2026-03-15)
従来のパラメータ推定手法(物理モデルに基づくもの)は、あらかじめ定義された関数空間に依存する制約がある。 ディープラーニングは複雑なシステムをモデル化できるが、ブラックボックス性が高く、システムの構造を明示的に解きほぐすことが困難である。 因果表現学習を活用した新しい識別可能性定理を提案し、構造的仮定なしに軌道データからシステムパラメータの解きほぐされた表現を抽出する。 2026-11-08
時系列予測における拡散モデルの台頭:包括的なサーベイ The Rise of Diffusion Models in Time-Series Forecasting
出典:arXiv Core: Tabular, GBDT & Time-Series (Authors: Caspar Meijer, Lydia Y. Chen | 2024-01-05)
生成AI分野でSOTAを記録している拡散モデル(Diffusion Models)の時系列予測への適用を網羅的に調査。 11の具体的な時系列実装について、背後にある直感、理論、データセットへの有効性、および相互比較を分析。 拡散モデルの条件付け手法(Conditioning)の背景から、現在の技術到達点、将来の研究方向性までを体系的に提示。 2026-11-08
SCINet: サンプル畳み込みと相互作用を用いた時系列モデリングと予測 SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction
出典:arXiv Core: Tabular, GBDT & Time-Series (Authors: Minhao Liu, Ailing Zeng, Muxi Chen et al. | 2021-06-17)
時系列データの「ダウンサンプリング後も時間的関係が維持される」という特性を利活用した新アーキテクチャ。 「ダウンサンプル・畳み込み・相互作用」を繰り返す再帰的な構造により、多解像度の特徴を抽出。 既存の畳み込みモデルやTransformerベースのモデルを凌駕する予測精度を複数の実データセットで実証。 2026-11-08
パッチ長が予測精度に与える影響に関する理論的枠組みと選択基準 Patch Attention Wisely: Understanding Patch Length in Attention-Based Forecasting
出典:arXiv stat.ML (Statistical ML) (Authors: Junyu Chen, Likai Chen, Weining Wang | 2026-11-05)
本研究は、注意機構ベースの時間系列予測において、パッチ長が予測精度に与える影響に関する理論的枠組みを提示する。 線形状態空間モデルにおける予測係数行列の分解と、表現誤差と推定誤差のバランスを考慮したパッチ選択基準を導出する。 予測構造、ヘッド数、訓練サンプルサイズ、長期依存性などがパッチ選択基準にどのように影響するかを明確にする。 2026-11-08
Muir: 線形アテンションによる効率的な文脈圧縮と高性能化 Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
出典:arXiv 2026: Tabular & Time-Series ML (Authors: Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer | 2026-11-05)
Muirは、線形アテンション機構を用いた、文脈情報を固定サイズキーバリューストレートに圧縮する新しいモデルである。 既存のGDN-2やTransformerと比較して、パープレキシティの低減、コモンセンス精度向上、抽出リコール向上を実現している。 特に、大規模な文脈データ、マルチホップ/マルチニードルリコールタスク、および長い文脈データの処理において、その効果が顕著に現れる。 2026-11-08
DistillLens: Logit Lensを用いた対称的知識蒸留 DistillLens: Symmetric Knowledge Distillation Through Logit Lens
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute (Authors: Manish Dhakal, Uthman Jinadu, Anjila Budathoki et al. | 2026-02-14)
従来の知識蒸留(KD)は教師モデルの中間層の思考プロセスをブラックボックスとして扱う課題がある。 DistillLensは、Logit Lensを用いて中間隠れ状態を語彙空間に投影し、教師と生徒の思考プロセスを対称的に整列させる。 対称的な発散(Symmetric Divergence)を用いることで、過度な自信(Overconfidence)と自信のなさ(Underconfidence)の両方を抑制し、高エントロピーな推論経路を維持する。 2026-11-08
ユーザー埋め込みを解釈可能な行動モードの重ね合わせとして捉える手法 User Embeddings are Superpositions of Interpretable Behavioral Modes
出典:arXiv 2026: Calibration, Conformal & Optimal Transport (Authors: Jonathan Kozaczuk, Zheng Dong, Noyan Evirgen et al. | 2026-11-05)
本研究は、レコメンデーションシステムなどで利用されるユーザー埋め込みを、解釈可能な行動モードのスパースな重ね合わせとして捉えるという新しい視点を提供する。 既存の密な埋め込み表現では解釈が困難であった問題を、スパースオートエンコーダ(SAE)を用いてモードを抽出することで解決し、自然言語によるクエリが可能になる。 合成データおよび実データセットでの実験により、SAEが従来のスパースな手法よりも優れたモード回復性能を示すことが検証されている。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。