トップ › 知識庫 › タグ「凍結済み特徴量」
KNOWLEDGE VAULT — TAG
タグ「凍結済み特徴量」
収蔵 31件
2026-11-18
多言語対応の意思決定モデル「Zuse」:凍結ベースとポインターヘッドによる高精度な分類と較正の分析 Zuse: A Decision Model for European Languages
出典:Hugging Face Daily Papers (Upvotes: 0 | arXiv:2611.06238)
生成ではなく固定選択肢の確率を出力する「意思決定モデル(Decision Model)」の多言語展開と評価。 凍結されたオープンウェイトモデルに低ランクアダプタとポインターヘッドを付与し、27の欧州言語で高精度な推論を実現。 タスク特有の過信・過小評価の構造を特定し、単純な温度調整では不十分な「タスク依存の較正」の課題を浮き彫りにした。 2026-11-18
Marimba: 凍結済みASR特徴量とマルチヘッド構造による高精度な音声意思決定システム Marimba: A System One Model for Speech
出典:Hugging Face Daily Papers (Upvotes: 4 | arXiv:2611.18330)
凍結済みQwen3-ASR(0.6B)の特徴量を基盤とし、音声からの語彙・発話終了・言語識別を統合的に判断する「System One」モデルの提案。 Lexical(語彙)判定にはZero-shotスコアリングを、非Lexical(発話終了等)には条件付きヘッドと専用のReadout層を使い分けることで、高いAUROCを達成。 特に話者交代の検知(ECAPA超え)や、合成音声を含む多言語環境での個人情報(PII)検知において高い実用性を示す。 2026-11-17
Qwen3-ASRを基盤としたマルチタスク音声解析システム「Marimba」:単一エンコーダによる高精度な推論 Marimba: A System One Model for Speech. [R]
出典:Reddit r/MachineLearning (ML Research Community)
Qwen3-ASR-0.6Bの凍結されたエンコーダを共通基盤とし、音声の特定(用語、言語、話者、ターン終端)を統合的に処理するシステム。 専用モデルを個別に構築せず、Platt校正や特定層のReadoutを用いることで、Qwen3-Omni(30B規模)に匹敵する精度を軽量なモデルで実現。 特に話者識別(Speaker Change)や言語識別において極めて高い性能を発揮し、計算リソースを抑えつつ多機能な音声解析を可能にする。 2026-11-16
量子グラフニューラルネットワーク(QGNN)の体系的総括:表現力とスケーラビリティの限界と展望 Quantum Graph Neural Networks: Architectures, Trainability, and Applications
出典:arXiv cs.LG (Machine Learning) (Authors: Zeinab Sharifi, Hossein Shirazi | 2026-11-13)
量子回路をグラフ構造に適用し、古典的GNNの表現力や長距離情報伝達の限界を打破するQGNNの統一フレームワークを提示。 畳み込み、メッセージパッシング、ハミルトニアン等5つのアーキテクチャを分類し、対称性(置換不変性等)を主要な誘導バイアスとして特定。 現状はシミュレーションと小規模グラフが主流であり、古典モデルに対する明確な優位性は未確立だが、高エネルギー物理や化学等の特定領域に有望。 2026-11-16
直交ヌル空間投影によるLLMの「忘却」と「汎用性能」の分離:軽量アダプタを用いた知識削除技術 Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
出典:arXiv cs.LG (Machine Learning) (Authors: Xiuyuan Wang, Weiming Liu, Zongxin Yang et al. | 2026-11-13)
LLMから特定の有害・機密情報を削除しつつ、汎用的な能力を維持する「UUE」フレームワークの提案。 直交ヌル空間への投影と凸最適化による反極点(Antipodal points)へのマッピングにより、既存手法の課題である「性能劣化」を克服。 TOFUやWMDPといったベンチマークにおいて、凍結されたバックボーンを維持したまま軽量アダプタ(UUE-L)で高精度な忘却を実現。 2026-11-16
エネルギー関数による推論の高速化:Loopedモデルを1,000倍凌駕するCRAMの衝撃 Classical Energies Learn to Reason 1,000x Faster than Looped Models
出典:arXiv cs.LG (Machine Learning) (Authors: Benjamin Hoover, Hugh Blayney, James C. R. Whittington | 2026-11-12)
推論タスクを「エネルギー関数の最小化」として定式化するCRAM(Hopfield & Tankの発展型)の提案。 従来のLoopedモデルと比較し、学習の安定性、推論速度(最大1,000倍)、FLOPsの劇的な削減を実現。 SudokuやMazeといった制約条件の強い論理パズルにおいて、極めて高い精度と計算効率を両立。 2026-11-16
マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性 [Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
出典:Reddit r/MachineLearning (ML Research Community)
マルチモーダルモデルにおけるVision Encoderの構成要素(事前学習、専用パラメータ、配置場所)を分離して検証した研究。 Vision Encoderの「事前学習」は任意(不要)だが、「Vision専用のパラメータ」は性能維持に不可欠であることを実証。 リソース制約下で効率的なマルチモーダルモデルを構築する際、Encoderを最初から学習させるよりも、LLMにVision専用の重みを統合する方が効率的。 2026-11-16
カラスの超高速意思決定メカニズム:生物学的知能から学ぶ高速推論の極致 'Birdbrain' Is a Misnomer. Crows Make Decisions Faster Than We Can
出典:Hacker News (Top Stories) (HN Score: 98 pts by gumby)
カラスの意思決定速度が人間の認知処理を凌駕しているという生物学的知見の提示。 従来の「単純な反射」ではなく、高度な情報統合を極めて短時間で行う「高速推論」の特性を解明。 動的な環境変化に対する即時反応や、極めて低遅延が要求されるリアルタイム推論モデルの設計に寄与。 2026-11-16
B300環境におけるcudaMemcpyの転送速度を最大5倍向上させる最適化手法 Making cudaMemcpy 5x faster on a B300 [P]
出典:Reddit r/MachineLearning (ML Research Community)
PageableメモリからGPUへのcudaMemcpy転送を高速化する最適化ツール「cudamemcpy-tuner」の発表。 標準的な転送(例:10.2 GB/s)に対し、チューニングを適用することで最大5倍(例:51.5 GB/s)の高速化を実現。 大規模なテンソルを扱うディープラーニングの学習時や、GPUメモリ帯域がボトルネックとなるデータロード工程で極めて有効。 2026-11-15
ストレージのハイブリッド化再来:SSDとHDDの特性を融合したデータアクセス最適化の再考 Seagate's new hybrid drive raises some old questions
出典:Hacker News (Top Stories) (HN Score: 51 pts by PaulHoule)
SeagateがSSDの高速性とHDDの大容量を統合した「ハイブリッドドライブ」を再投入。 従来の単一ストレージでは困難だった「コスト効率」と「低遅延」のトレードオフをハードウェア層で解決。 大規模データセットの高速な読み込みや、頻繁にアクセスするホットデータのキャッシュ管理を伴うシステム設計に威力を発揮。 2026-11-15
Latent空間を脱却:PixVidによるピクセル空間への直接的なビデオ拡散モデルの昇華 Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.17336)
VAEの潜在空間(Latent Space)を介さず、ピクセル空間で直接ビデオを生成する「PixVid」の提案。 高解像度化に伴うトークン数の爆発や、複数フレームの依存による反応遅延を解消し、フレーム単位の制御性を向上。 Wan2.1-14Bをベースとした微調整により、高速な動きにおける深度条件の整合性や、アクションへの即時反応を維持。 2026-11-15
SpaceXによるStarship機体の空中キャッチ成功:動的制御と精密な物理シミュレーションの融合 SpaceX Catches the Starship to end Flight 15
出典:Hacker News (Top Stories) (HN Score: 208 pts by ls612)
SpaceXがStarshipの着陸時にブースター(Mechazilla)で機体を空中キャッチすることに成功した。 従来の着陸(脚による接地)に対し、動的な捕捉による再利用性と機体への衝撃緩和を高度な制御で実現。 動的な物体追跡、リアルタイムな軌道修正、および高精度な物理シミュレーションが必要な問題で威力を発揮する。 2026-11-15
時系列予測における「市場含意(Market-Implied)」へのベンチマーク転換と区間予測の重要性 Should short-horizon price forecasting papers benchmark against market-implied forecasts, not just naive baselines? [D]
出典:Reddit r/MachineLearning (ML Research Community)
短期的な価格予測(仮想通貨・商品等)における評価指標の妥当性に関する議論。 単純なランダムウォークやARIMAを上回るだけでなく、オプションのインプライド・ボラティリティ等の「市場の期待値」を上回るかを評価すべき。 点予測(RMSE)よりも、確信度を伴う区間予測(例:80%信頼区間のカバー率)が実用的な精度を測る上で極めて重要。 2026-11-14
IRMによる偽の相関(Spurious Correlations)の排除:NLPにおける頑健な汎化性能の獲得 Disentangling Spurious Correlations: How IRM Handles Diverse Shortcuts in Text Classification
出典:arXiv stat.ML (Statistical ML) (Authors: Paul Grunenwald, Benoît Crabbé, Guillaume Wisniewski et al. | 2026-11-12)
ERM(経験的リスク最小化)が陥りやすい「方言」等の偽の相関(ショートカット)を、IRM(不変リスク最小化)を用いて抑制する手法の検証。 因果関係に基づいた評価により、IRMが環境変化やラベルノイズ下でもショートカットを拒絶し、頑健な言語特徴を抽出できることを証明。 Bias in BiosやActorCorr等の実データにおいて、バイアス(性別と職業の結びつき等)を緩和しつつ、意味のある特徴を維持する有効性を確認。 2026-11-14
LLMのコンテキスト寄与度を高速推定する「スキッチング」アルゴリズム Sketching Language Models for Context Attribution
出典:arXiv cs.LG (Machine Learning) (Authors: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas et al. | 2026-11-12)
プロンプトの一部を削除した際のLLMの出力変化(Leave-One-Out Attribution)を高速に推定する手法の提案。 従来の$n$回の推論を要する計算を、安定性仮定の下で$O(\sqrt{\log(1/\varepsilon)}/\varepsilon)$の評価回数に劇的に削減。 長大なコンテキストを持つLLMにおいて、特定のトークンが推論に与える影響度(寄与度)を効率的に解析する際に威力を発揮。 2026-11-09
重み空間プログラミング(WSP):勾配更新を介さない超高効率なモデル編集と汎化性能の探求 Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.09382)
推論エージェントがニューラルネットワークのパラメータを直接操作・修正する「Weight-Space Programming (WSP)」の能力と限界を評価。 勾配ベースの微調整(Fine-tuning)に対し、わずか1,023個のパラメータ修正でMATH-500等のベンチマークで最大29.45ptの精度向上を達成。 特定のタスク(数学等)の編集が他タスク(GPQA, SciBench等)へ正の転移を起こす一方で、汎化の不均衡や編集の不安定性も確認。 2026-11-09
生成ビデオモデルにおける「因果関係」と「世界状態」の維持:EvoWorldによる動的進化の実現 EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
出典:Hugging Face Daily Papers (Upvotes: 8 | arXiv:2611.06748)
生成ビデオモデルを単なる「画素のレンダリング」から「世界状態の推論」へと昇華させるEvoWorldの提案。 既存の拡散モデルが抱える「視覚的な妥当性は高いが、因果関係や状態の連続性が欠如する」という課題を克服。 イベント条件付きの因果進化、反応の正確性、および再訪時の一貫性を評価するデータセットとベンチマークを導入。 2026-11-08
LLM-Mixer: 時系列予測のためのLLMにおけるマルチスケール混合 LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting
出典:arXiv Core: Tabular, GBDT & Time-Series (Authors: Md Kowsher, Md. Shohanur Islam Sobuj, Nusrat Jahan Prottasha et al. | 2024-10-15)
時系列データの複雑なマルチスケール(短期変動と長期トレンド)を捉えるための新しいフレームワーク「LLM-Mixer」を提案。 時系列データを複数の時間解像度に分解し、凍結された(Frozen)事前学習済みLLMを用いて処理する手法を採用。 時系列データに特化したテキストプロンプトを設計することで、LLMの推論能力を時系列予測に効果的に転用。 2026-11-08
Ky Fanノルムとそれ以降:行列最適化のための双対ノルムと組み合わせ Ky Fan Norms and Beyond: Dual Norms and Combinations for Matrix Optimization
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass (Authors: Alexey Kravatskiy, Ivan Kozyrev, Nikolai Kozlov et al. | 2025-12-10)
深層学習の重み行列最適化において、Muonの基礎となるスペクトルノルムを超え、Ky Fanノルムの双対ノルムを活用した「Fanion」ファミリーのLMOアルゴリズムを提案。 Fanionの更新式とNormalized SGD(またはSignSGD)の凸結合により、F-FanionおよびS-Fanionという新たなアルゴリズム群を構築。 広範な実験により、F-MuonおよびS-MuonがMuonと同等の性能を維持しつつ、合成滑らかな凸問題においてMuonを上回ることを実証。 2026-11-08
GeneOH Diffusion: 拡散モデルを用いた汎用的な手と物体の相互作用(HOI)のデノイジング GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass (Authors: Xueyi Liu, Li Yi | 2024-02-22)
誤った手と物体の相互作用(HOI)シーケンスから、不自然な手のポーズや関係性を除去し、知覚的にリアルな軌跡を復元する手法を提案。 接触中心の新しいHOI表現「GeneOH」を導入することで、多様な相互作用シナリオに対するモデルの汎用性を向上。 ノイズのパターンや未知の相互作用に対しても頑健に動作する、ドメイン汎用型のデノイジングスキームを構築。 2026-11-08
実蛍光顕微鏡画像を用いたポアソン・ガウスノイズ除去データセット A Poisson-Gaussian Denoising Dataset with Real Fluorescence Microscopy Images
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass (Authors: Yide Zhang, Yinhao Zhu, Evan Nichols et al. | 2018-12-26)
蛍光顕微鏡画像特有の「ポアソン・ガウスノイズ(ショットノイズが支配的)」に対応する専用のデータセットが欠如している課題を特定。 商用顕微鏡(共焦点、二光子、広視野)を用いて取得した、細胞、ゼブラフィッシュ、マウス脳組織を含む12,000枚のリアルな画像を含む「FMDデータセット」を構築。 特定の生物学的サンプルとノイズ特性を網羅することで、より実用的なノイズ除去アルゴリズムの開発と評価を可能にする。 2026-11-08
忘却は消去ではない:輸送キー(Transport Keys)による潜在知識の復元 Forgetting is Not Erasure: Recovering Latent Knowledge via Transport Keys
出典:arXiv Core: Conformal, Calibration & Optimal Transport (Authors: Archie Chaudhury | 2026-06-01)
破滅的忘却は知識の完全な消去ではなく、学習過程における内部表現の「インターフェースの乖離(drift)」に起因すると主張。 「モデル・スチッチング」という評価プロトコルを用い、更新後のネットワークの初期層と更新前のネットワークの後期層を結合して検証。 「輸送キー(Transport Keys)」というコンパクトなインターフェース調整演算子を導入することで、過去のタスクの知識を高い精度で復元可能。 2026-11-08
航空機着陸時の安全イベント予測:LSTMとXGBoostを組み合わせた解釈可能なハイブリッド手法 Hybrid Machine Learning for Imbalanced Landing-Phase Safety Event Prediction from Flight Data
出典:arXiv 2026: Calibration, Conformal & Optimal Transport (Authors: Taha Asghar, Bilal Mufti, Syed Qasim Zaheer et al. | 2026-11-05)
本研究は、航空機着陸時の安全イベント(Normal, Speed High, Path High, Flaps Late)を予測するための、解釈可能なハイブリッド機械学習フレームワークを提案する。 LSTMオートエンコーダで異常を検出し、統計的特徴量と融合してXGBoost分類器に入力することで、クラス間のバランスの取れた高精度な予測を実現し、既存手法よりも性能が向上している。 特に、データ量の多い空港では空港固有の学習、データ量の少ない空港ではプール学習が有効であり、垂直経路、設定、速度、アプローチコンテキストなどの操作に関連する変数と予測を結びつけることができる。 2026-11-08
広域ランク行列分解およびデノイジングにおける平均場方程式の摂動的構築 Perturbative construction of mean-field equations in extensive-rank matrix factorization and denoising
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass (Authors: Antoine Maillard, Florent Krzakala, Marc Mézard et al. | 2021-10-17)
行列のランクがサイズに対して線形に増大する「広域ランク(extensive-rank)」設定における行列分解とデノイジングの理論的枠組みを提示。 行列サイズが無限大に発散する極限において、最適な平均二乗誤差を導出するための平均場方程式を摂動論を用いて構築。 教師なし表現学習、辞書学習、スパースコーディングなど、高次元データの構造抽出における数学的基礎を強化。 2026-11-08
安定性の境界における勾配降下法の振動を捉える:Central FlowとRod Flowの統合理論 Unifying Central Flow, Rod Flow, and the Edge Coupling
出典:arXiv stat.ML (Statistical ML) (Authors: Eric Regis, Sinho Chewi | 2026-11-05)
勾配降下法の「安定性の境界(Edge of Stability)」におけるヘッセ行列の鋭い方向への振動を記述する連続時間モデルの統合。 従来の勾配流(Gradient Flow)では表現できない振動挙動を、Central FlowやRod Flowを用いることで正確に近似・追跡可能にする。 AdamやHeavy Ball等の慣性を持つ最適化アルゴリズムにおいて、学習の全フェーズ(安定域から振動域への遷移)を精度高く予測・制御する際に威力を発揮する。 2026-11-08
頭頸部癌の予後予測におけるラジオミクス強化型ディープマルチタスク学習 Radiomics-enhanced Deep Multi-task Learning for Outcome Prediction in Head and Neck Cancer
出典:arXiv Core: Conformal, Calibration & Optimal Transport (Authors: Mingyuan Meng, Lei Bi, Dagan Feng et al. | 2022-11-10)
頭頸部癌の予後予測において、手動セグメンテーションへの依存を減らしつつ、腫瘍領域の情報を最大限に活用する手法を提案。 従来のEnd-to-End学習では画像全体を対象とするため腫瘍に集中できない課題に対し、ラジオミクス特徴量を統合することで解決を図る。 HECKTOR 2022コンペティションの枠組みにおいて、PET/CT画像を用いたマルチタスク学習フレームワークを構築。 2026-11-08
理論重視論文における査読の罠:ICLRにおける「理論 vs 実験」の評価乖離と戦略 ICLR27 math and stats paper review experience [D]
出典:Reddit r/MachineLearning (ML Research Community)
ICLRにおける「応用理論(Applied Theory)」系論文の査読傾向に関する実体験報告。 理論的貢献(証明等)が主軸であっても、査読者は新規性不足や実験不足を理由に低評価を下す傾向がある。 特に「証明が正しいと仮定すれば結論は自明である」という評価は、理論の純粋性よりも実用的なインパクトを重視する傾向を示唆している。 2026-11-08
デノイジングオートエンコーダの輸送解析:深層ニューラルネットワークを分析するための新しい手法 Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks
出典:arXiv Core: Conformal, Calibration & Optimal Transport (Authors: Sho Sonoda, Noboru Murata | 2017-12-12)
深層ニューラルネットワーク(DNN)の内部表現(特徴マップ)を、輸送写像(Transport Map)として捉えることで、複雑なパラメータ構造を幾何学的に解析する手法を提案。 入力と出力の次元が異なる場合でも、両者を共通の高次元空間に埋め込むことで輸送問題として定式化可能であることを示した。 軌跡を幾何学的オブジェクトとして扱うことで、パラメータ化に依存しないDNNの普遍的な特性(輸送ダイナミクス)を抽出する。 2026-11-08
量子化誤差の補償+: 量子化モデルは探求的な学習者である Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute (Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-07-22)
既存のLLM量子化手法は重みと活性化の相互作用や補助コンポーネントに焦点を当てており、量子化過程における重みの動的な調整を軽視している。 単純なRound-to-Nearest (RTN) 量子化では元の重み分布が最適でないため、混合精度や低ランク近似などの手法は計算オーバーヘッドを増大させる。 従来の生成事後学習量子化(GPTQ等)は局所的な誤差を最小化する手動調整に依存しており、グローバルな最適化には至っていない。 2026-11-08
PrefixQuant: プレフィックストークンによるLLMのトークン単位外れ値の除去と量子化 PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute (Authors: Mengzhao Chen, Yi Liu, Jiahao Wang et al. | 2024-10-07)
従来の量子化手法がチャネル単位の外れ値に集中する一方で、精度を制限するトークン単位の外れ値を無視している問題を特定。 KVキャッシュ内の外れ値トークンにプレフィックスを付与することで、学習不要かつ極めて高速に外れ値を分離する手法を提案。 ブロック単位の学習可能なパラメータを導入することで量子化誤差を補正し、W4A4KV4やW4A8KV4といった低ビット環境でSOTAを達成。 2026-11-08
ユーザー埋め込みを解釈可能な行動モードの重ね合わせとして捉える手法 User Embeddings are Superpositions of Interpretable Behavioral Modes
出典:arXiv 2026: Calibration, Conformal & Optimal Transport (Authors: Jonathan Kozaczuk, Zheng Dong, Noyan Evirgen et al. | 2026-11-05)
本研究は、レコメンデーションシステムなどで利用されるユーザー埋め込みを、解釈可能な行動モードのスパースな重ね合わせとして捉えるという新しい視点を提供する。 既存の密な埋め込み表現では解釈が困難であった問題を、スパースオートエンコーダ(SAE)を用いてモードを抽出することで解決し、自然言語によるクエリが可能になる。 合成データおよび実データセットでの実験により、SAEが従来のスパースな手法よりも優れたモード回復性能を示すことが検証されている。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。