KNOWLEDGE VAULT — TAG

タグ「Transformer」

収蔵 42件
2026-11-19

「Attention at Absolute Zero」:ソフトアテンションの限界を打破する「零度(Zero Temperature)」の高次推論層

Attention at Absolute Zero

出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.11937)

2026-11-19

推論高速化の極致:メモリ保持と非一様層選択による次世代投機的デコーディング「DNeo」

DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.21925)

LLM推論最適化投機的デコーディングTransformer特徴量エンジニアリングワーキングメモリ
2026-11-19

対向角RGBカメラのみで実現するリアルタイムBEV軌道再構成と予測(OCTR2A)

OCTR2A: Real-Time RGB-to-BEV Trajectory Projection and Forecasting at Urban Intersections

出典:arXiv cs.LG (Machine Learning)(Authors: Emanuele Iacobelli, Simone Teglia, Francesco Pro et al. | 2026-11-18)

BEV軌道予測TransformerGRUSynthetic-to-RealRGBカメラ
2026-11-19

Attentionネットワークをハード論理回路へ変換:推論高速化と解釈性を両立する「テセウスの船」型置換手法

How to Turn an Attention Neural Network into an Interpretable Hard-Logic Predicate Circuit: Truth-Table Predicate Extraction and State-Machine Merging under Ship-of-Theseus Replacement

出典:arXiv cs.LG (Machine Learning)(Authors: Yuchen Li, Zongqi Fan, Xintong Li et al. | 2026-11-18)

2026-11-18

ViTの普及に対する批判的考察:計算資源の過剰さとハイブリッド構造の優位性

Why are ViTs so popular? [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-18

Microsoftが発表した次世代コード生成モデル「MAI Code 2」と高速版「Flash」の全貌

MAI Code 2 and Code 2 Flash

出典:Hacker News (Top Stories)(HN Score: 205 pts by lemonish97)

2026-11-18

再帰的推論をエネルギー関数で制御する「Energy-Based Reasoners (EBR)」の提案

Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model

出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.08977)

2026-11-17

「Lattice of Latents」:計算状態の水平拡張による次世代の推論能力強化

Latent Lattice Language Models

出典:arXiv cs.LG (Machine Learning)(Authors: Shivam Duggal, Zongze Wu, William T. Freeman et al. | 2026-11-16)

2026-11-17

VLMにおける視覚的推論の「計画性」の解明:Binding・Progress・Select・Gazeの4段階メカニズム

How VLMs Plan What's Next

出典:arXiv cs.LG (Machine Learning)(Authors: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki et al. | 2026-11-16)

2026-11-17

気象予報士の「熟練の知見(テキスト)」をマルチモーダル学習で統合し、台風の強度予測精度を向上させる手法

Quantifying the added value of human forecaster discussions for tropical cyclone intensity prediction

出典:arXiv cs.LG (Machine Learning)(Authors: Ilia Azizi, Frederick Iat-Hin Tam, Marc-Olivier Boldi et al. | 2026-11-16)

2026-11-17

汎用生成モデルによる3D幾何学の制覇:Iris-Zによる「特化型モデル」の超越

Iris-Z: Scaling One Generative Model Past Specialist Geometry Models

出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.16010)

2026-11-17

AISTATS 2027 採択論文の査読結果に関するコミュニティ議論

AISTATS 2027 paper discussion [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-17

微分可能有限状態トランスデューサ(DFST)による「正確な学習」と極限的な長さ汎化の実現

Differentiable Exact Learning

出典:arXiv stat.ML (Statistical ML)(Authors: Hristo Papazov, Francesco D'Angelo, Nicolas Flammarion | 2026-11-16)

2026-11-17

AIセンサー特化型チップの台頭:Bharat SemiによるエッジAIハードウェアの市場進出

Indian chip startup Bharat Semi lands $24M seed round as it eyes global AI sensor market

出典:TechCrunch AI(AI Industry)

2026-11-16

LLMの長文コンテキストを支配する位置エンコーディングの進化と構造的理解

Understanding Positional Embeddings in Modern LLMs

出典:Hacker News (Top Stories)(HN Score: 83 pts by vismit2000)

2026-11-16

量子グラフニューラルネットワーク(QGNN)の体系的総括:表現力とスケーラビリティの限界と展望

Quantum Graph Neural Networks: Architectures, Trainability, and Applications

出典:arXiv cs.LG (Machine Learning)(Authors: Zeinab Sharifi, Hossein Shirazi | 2026-11-13)

2026-11-16

潜在空間における双方向自己回帰を用いた人間動作のセマンティック表現学習

BAL: Bidirectional Autoregression in Latent Space for Learning Human Movement Representations

出典:arXiv cs.LG (Machine Learning)(Authors: Genki Kinoshita, Ko Nishino | 2026-11-13)

2026-11-16

タンパク質・リガンド相互作用における創発的能力を持つマルチモーダル基盤モデル「Bonbon」の解析

Emergent Biological Capabilities in a Foundation Model for Molecular Interactions

出典:Hugging Face Daily Papers(Upvotes: 5 | arXiv:2611.14504)

2026-11-16

マルチモーダルLLMの推論高速化:視覚依存度を適応的に制御する推論加速フレームワーク「MMFlash」

MMFlash: Faster Speculative Decoding for Vision-Language Models

出典:Hugging Face Daily Papers(Upvotes: 26 | arXiv:2611.18482)

VLM推論最適化投機的デコーディングマルチモーダル生成Transformer視覚依存度
2026-11-16

エルニーニョ現象の力学:時系列動態と気象変動の物理的メカニズム

A short explainer on how El Niño works [video]

出典:Hacker News (Top Stories)(HN Score: 115 pts by nharada)

2026-11-16

マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性

[Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-16

カラスの超高速意思決定メカニズム:生物学的知能から学ぶ高速推論の極致

'Birdbrain' Is a Misnomer. Crows Make Decisions Faster Than We Can

出典:Hacker News (Top Stories)(HN Score: 98 pts by gumby)

2026-11-16

MoEにおける「局所的な誤差改善」と「最終出力の精度」の乖離:多段階推論におけるエキスパート共有の理論的境界

From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning

出典:arXiv cs.LG (Machine Learning)(Authors: Tiantong Wang, Zhiren Gong, Yixin Wang et al. | 2026-11-13)

2026-11-15

LLMアーキテクチャの「試行錯誤」を資産化する:スケーリング則を用いた検証プラットフォームArchSpace

ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research

出典:arXiv cs.LG (Machine Learning)(Authors: Jie Wang, Tong Zhu, JiaHao Kuang et al. | 2026-11-12)

2026-11-15

化学から生物学への進化:複雑系における創発と動的相互作用の統合

The Evolving Story of How Chemistry Became Biology

出典:Hacker News (Top Stories)(HN Score: 7 pts by pseudolus)

2026-11-15

非英語圏言語における生成AIの計算コスト増大とエネルギー効率の乖離

Generative AI uses more energy on non-English text

出典:Hacker News (Top Stories)(HN Score: 68 pts by DeepLogin)

LLMTransformer推論最適化生成モデル多言語NLPトークナイザー
2026-11-15

地政学リスク下における高リスク・高リターンな「ホルムズ海峡貿易」の動態分析

A rare glimpse inside the high-risk, high-reward Hormuz trade

出典:Hacker News (Top Stories)(HN Score: 62 pts by everybodyknows)

2026-11-15

低リソース環境におけるEEG信号を用いたてんかん検知:Graph Attention Networksの適用

Graph Attention Networks for Detecting Epilepsy From EEG Signals Using Accessible Hardware in Low-Resource Settings [R]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-15

時系列予測における「市場含意(Market-Implied)」へのベンチマーク転換と区間予測の重要性

Should short-horizon price forecasting papers benchmark against market-implied forecasts, not just naive baselines? [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-14

LLMのコンテキスト寄与度を高速推定する「スキッチング」アルゴリズム

Sketching Language Models for Context Attribution

出典:arXiv cs.LG (Machine Learning)(Authors: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas et al. | 2026-11-12)

2026-11-14

誤差逆伝播(Backpropagation)の直感的理解と重み更新の概念構造

Back Propagation [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-14

異種ロボット・人間間の知能を統合する「Embodiment Dreaming」によるクロス・エンボディメント学習

EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming

出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.16728)

2026-11-14

LoRAと合成データを用いたTransformerによる連続血糖値(CGM)予測モデルの構築

I have trained a model to predict my blood sugar [P]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-09

GAP (Gated Attention Projection): AttentionとMLPを統合しパラメータを最大34%削減する新アーキテクチャ

I merged attention and MLP processing into a single gated Transformer block. GAP [R]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-08

オンライン偽ニュース検出における機械学習モデルのベンチマーク研究

A Benchmark Study of Machine Learning Models for Online Fake News Detection

出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Junaed Younus Khan, Md. Tawkat Islam Khondaker, Sadia Afroz et al. | 2019-05-12)

2026-11-08

動的システムの解きほぐし:因果表現学習と局所スパースアテンションの融合

Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention

出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Markus W. Baumgartner, Anson Lei, Joe Watson et al. | 2026-03-15)

2026-11-08

時系列予測における拡散モデルの台頭:包括的なサーベイ

The Rise of Diffusion Models in Time-Series Forecasting

出典:arXiv Core: Tabular, GBDT & Time-Series(Authors: Caspar Meijer, Lydia Y. Chen | 2024-01-05)

2026-11-08

SCINet: サンプル畳み込みと相互作用を用いた時系列モデリングと予測

SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

出典:arXiv Core: Tabular, GBDT & Time-Series(Authors: Minhao Liu, Ailing Zeng, Muxi Chen et al. | 2021-06-17)

2026-11-08

パッチ長が予測精度に与える影響に関する理論的枠組みと選択基準

Patch Attention Wisely: Understanding Patch Length in Attention-Based Forecasting

出典:arXiv stat.ML (Statistical ML)(Authors: Junyu Chen, Likai Chen, Weining Wang | 2026-11-05)

2026-11-08

Muir: 線形アテンションによる効率的な文脈圧縮と高性能化

Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout

出典:arXiv 2026: Tabular & Time-Series ML(Authors: Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer | 2026-11-05)

線形アテンションTransformer表現学習推論最適化LLMコンテキスト圧縮
2026-11-08

DistillLens: Logit Lensを用いた対称的知識蒸留

DistillLens: Symmetric Knowledge Distillation Through Logit Lens

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Manish Dhakal, Uthman Jinadu, Anjila Budathoki et al. | 2026-02-14)

2026-11-08

ユーザー埋め込みを解釈可能な行動モードの重ね合わせとして捉える手法

User Embeddings are Superpositions of Interpretable Behavioral Modes

出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Jonathan Kozaczuk, Zheng Dong, Noyan Evirgen et al. | 2026-11-05)

このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。