KNOWLEDGE VAULT — TAG
タグ「生成モデル」
収蔵 48件
2026-11-19
温度調整と自己学習を統合した高効率なニューラルサンプラー:SSSの構築
Amortizing Tempered Sampling with Corrected Self-Training
出典:arXiv stat.ML (Statistical ML)(Authors: Hoang-Viet Nguyen, Hai-Dang Dau, Alexandre H. Thiéry | 2026-11-17)
- 非正規化分布からのサンプリングコストを削減する、ニューラルサンプラーの学習手法の提案。
- 温度調整(Tempering)と重要度サンプリング(Importance Sampling)を組み合わせた「修正付き自己学習」により、高品質な学習データの獲得を克服。
- 複雑なエネルギー地形を持つ分布において、少ないエネルギー評価数で高精度なサンプリングを実現する。
2026-11-19
ブラックボックス生成モデルに対応する「歪みゼロ」のセマンティック・ウォーターマーク技術
Distortion-Free Semantic Watermarks for Black-Box Generative Models
出典:arXiv cs.LG (Machine Learning)(Authors: Aviv Yossef, Or Patashnik, Or Zamir | 2026-11-17)
- 生成AIの出力品質を一切損なわず(Distortion-free)、セマンティックな特徴量に基づく電子透かしを付与するアルゴリズムの提案。
- モデルの内部構造(ホワイトボックス)を必要とせず、サンプリングとセマンティック埋め込みへのアクセスのみで動作する汎用性を実現。
- 圧縮やクロッピング等のコンテンツを維持する変換に対して堅牢であり、オープンソースおよびクローズドモデルの両方で有効。
2026-11-19
可変長・マルチモーダル生成を可能にする「Variable Length Diffuse Everything (VL-DE)」フレームワーク
Variable Length Diffuse Everything: Arbitrary Length Generative Modeling on Arbitrary State Spaces
出典:arXiv stat.ML (Statistical ML)(Authors: Kevin Rojas, Felix X. -F. Ye, Molei Tao | 2026-11-18)
- 任意の状態空間における可変長マルチモーダルデータの生成を可能にする「VL-DE」フレームワークの提案。
- パディングや特殊な長さ予測の導入を排除し、理論に基づいた「挿入(Insertion)メカニズム」で可変長を扱う。
- レイアウト生成(座標+属性)や分子構造生成など、連続値と離散値が混在する可変長データに極めて強力。
2026-11-18
法的推論の核心を突く:検索と長文生成を統合したドイツ公法試験ベンチマーク「GPBam」の構築
GPBam: A Retrieval-Aware German Public Law Exam Benchmark
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.18981)
- ドイツ公法試験(Gutachten)を模した、法的根拠の特定と論理構築を統合評価する新ベンチマーク「GPBam」の提案。
- 単なる知識の暗記ではなく、法規範の「検索(Retrieval)」と「長文生成(Long-form Generation)」の相関を定量化。
- 法務AIにおいて、検索精度の向上が最終的な論理構築のスコアにどの程度寄与するかを評価する際に極めて有効。
2026-11-18
再帰的推論をエネルギー関数で制御する「Energy-Based Reasoners (EBR)」の提案
Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.08977)
- 再帰的構造(Looping)を用いた潜在空間での多段階推論を、エネルギー関数に基づく勾配降下として定式化した研究。
- 「いつ停止するか」「どう改善するか」という既存のループモデルの課題を、エネルギーの勾配による指針と停止条件の明示化で解決。
- 数独(Sudoku-Extreme)等のアルゴリズム推論や、複数の正解が存在する多解問題において、極めて高い精度と推論効率を両立。
2026-11-18
手操作による動的ビデオ生成:LynnReal-Handによる高精度な手と物体の相互作用の統合
LynnReal-Hand: Unlocking World Interaction with Hand Control
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.21479)
- 手(Hand)の動きを直接入力として受け取り、ビデオ内の物体と動的な相互作用を生成するビデオ世界モデルの提案。
- 手と物体の複雑な動態を捉えるための「手認識型監督(Hand-aware supervision)」と「領域認識スコア蒸留(Region-aware score distillation)」を導入し、微細な動きと視覚的整合性を両立。
- 10万件の相互作用クリップを用いた学習により、リアルタイム性を維持しつつ、高精度な手追従性と視覚品質を両立したビデオ生成を実現。
2026-11-17
「Lattice of Latents」:計算状態の水平拡張による次世代の推論能力強化
Latent Lattice Language Models
出典:arXiv cs.LG (Machine Learning)(Authors: Shivam Duggal, Zongze Wu, William T. Freeman et al. | 2026-11-16)
- 深層構造や再帰的推論の深化ではなく、モデルが維持する「アクティブな計算状態(Latent Lattice)」の数を増やすことで計算能力を拡張する手法。
- 従来のTransformerやSSM(Mamba等)の残差ストリームに対し、時間軸に沿って持続する水平な潜在ストリームを付加することで、KVキャッシュやMLPの計算を直接条件付ける。
- FineWeb-Edu等の大規模データを用いた学習において、パラメータ数を維持したままPerplexityを大幅に改善し、特にハイブリッド構造(Mamba-2等)との相乗効果が高い。
2026-11-17
eDMD:最終出力分布への集中による拡散モデル蒸留の精度極大化
eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation
出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.17194)
- 拡散モデルを少ステップの生徒モデルへ蒸留する「分布一致蒸留(DMD)」の改良手法eDMDの提案。
- 中間状態ではなく「最終出力(Endpoint)」のみを基準に学習することで、中間分布によるノイズを排除し、正確な一致を保証。
- SD3やFLUX.2といった最新の高品質画像生成モデルにおいて、4ステップ生成時の精度を劇的に向上させる。
2026-11-17
蒸留モデルの多様性崩壊を打破する:中間層の活性化方向の再配分による多様性回復
Restoring Diversity in Distilled Image and Video Generators by Probing Activations
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.18550)
- 拡散モデルの蒸留(Few-step化)に伴う「生成結果の多様性欠如(Diversity Collapse)」の根本原因を特定。
- 活性化の総分散は維持されているが「方向」が集中していることを突き止め、ReDiverse(FT/TF)でこれを再配分。
- 画像および動画生成の蒸留において、生成品質を維持したまま、異なるシード間の差異を劇的に改善。
2026-11-17
気象予報士の「熟練の知見(テキスト)」をマルチモーダル学習で統合し、台風の強度予測精度を向上させる手法
Quantifying the added value of human forecaster discussions for tropical cyclone intensity prediction
出典:arXiv cs.LG (Machine Learning)(Authors: Ilia Azizi, Frederick Iat-Hin Tam, Marc-Olivier Boldi et al. | 2026-11-16)
- 気象予報士による「台風の議論(Discussion)」という非構造化テキストが、数値データ(SHIPS等)に付加価値を与えるかを検証。
- テキスト情報を深層学習でエンコードし、既存の数値予測モデルとアンサンブルすることで、24時間後の最大風速のMAEを約10%改善。
- 特に「intensify(強まる)」「eyewall(眼の壁)」といった専門用語を含むテキスト情報が、人間の判断を反映する重要な特徴量として機能する。
2026-11-17
汎用生成モデルによる3D幾何学の制覇:Iris-Zによる「特化型モデル」の超越
Iris-Z: Scaling One Generative Model Past Specialist Geometry Models
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.16010)
- 単一の生成バックボーンで画像生成と深度推定(幾何学理解)を同時に行う「Iris-Z」の発表。
- タスク特化型アーキテクチャを排除し、スケーリング則に基づいた汎用モデルでSOTAを上回る。
- 単眼深度推定、画像生成、深度に基づく画像再構成など、空間理解を伴う視覚タスクで威力を発揮。
2026-11-17
画像と測定値の同時推論による逆問題解決:Dual Flowによる結合フローモデル
Dual Flow: Joint Image-Measurement Interpolation for Inverse Problems
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.05843)
- ノイズを含む測定値から「クリーンな画像」と「ノイズ除去された測定値」を同時に推定する結合フローモデル(Dual Flow)の提案。
- 従来の「測定値を条件とした画像生成」に対し、画像と測定値を相互に更新することで、物理モデルへの整合性を保証しつつ高品質な再構成を実現。
- 線形逆問題(超解像、デノイジング、MRI再構成等)において、推論速度の向上とモデル不一致に対する堅牢性を両立。
2026-11-17
AISTATS 2027 採択論文の査読結果に関するコミュニティ議論
AISTATS 2027 paper discussion [D]
出典:Reddit r/MachineLearning(ML Research Community)
- AISTATS 2027に投稿された論文の査読結果(Reviews)の公開に伴う議論。
- 特定の技術革新ではなく、最新の査読傾向やコミュニティの反応を収集するフェーズ。
- 特定のアルゴリズムへの適用ではなく、最新のSOTA研究動向を把握するための情報収集として機能する。
2026-11-17
LLMエージェントの推論環境協調によるバッチ処理の高速化とスループット最大化
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.16661)
- LLMエージェントの推論と環境相互作用(環境操作)を統合したバッチ処理の最適化手法の提案。
- KVキャッシュと再帰状態の動的メモリ配分、および進捗ベースのスケジューリングにより、バッチ完了時間(Makespan)を最大65%削減。
- RLロールアウト、合成データ生成、SWE-bench等の複雑なマルチステップ推論タスクにおいて極めて高い効果を発揮。
2026-11-17
Baggingを用いたCoT学習の理論的最適化:推論長に依存しないサンプル複雑度の達成
Optimal Autoregressive Chain-of-Thought Learning via Bagging
出典:arXiv cs.LG (Machine Learning)(Authors: Awni Altabaa, John Lafferty, Omar Montasser | 2026-11-16)
- Bagging(ブートストラップ・アンサンブル)を用いて、Chain-of-Thought(CoT)の推論過程と一貫性のある次トークン生成モデルを学習する手法の提案。
- 従来のCoT学習では推論長 $T$ に依存するサンプル複雑度が生じるが、本手法はVC次元に基づく最適なサンプル複雑度 $O((d_{\mathrm{VC}}+\log(1/δ))/ε)$ を達成。
- CoTの長さが非常に長い複雑な推論タスクにおいて、データ効率を維持したまま高精度な推論モデルを構築する際に極めて強力。
2026-11-17
Flow-Matchingモデルにおける「キャッシュ再利用」vs「推論ステップ削減」の優位性検証
Cache or Denoise Less? Residual Reuse in a Flow-Matching World Action Model
出典:arXiv cs.LG (Machine Learning)(Authors: Abhinav Gupta, Nissan Pow | 2026-11-15)
- Flow-matchingを用いたロボット行動モデルにおける、計算再利用(C$^3$ache)と推論ステップ削減の比較検証。
- キャッシュ再利用は推論速度の改善に寄与するが、推論ステップを削減する方が精度と速度の両面で優位である可能性を提示。
- LIBERO-Goal等のロボット操作タスクにおいて、推論コストと精度のトレードオフを最適化する際の指針となる。
2026-11-17
LLMの「研究構想(Ideation)」の限界を解明:生成能力より探索空間の質が鍵を握る
Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game
出典:Hugging Face Daily Papers(Upvotes: 6 | arXiv:2611.14487)
- LLMが研究課題から核心的なアイデアを「再発見」するプロセスを、20のYes/No質問によるゲーム形式で定量化した研究。
- 既存の評価では見落とされていた「思考の推移」を可視化し、LLMの限界が「判断力」ではなく「生成能力」にあることを特定。
- LLMは提示された良いアイデアを評価する能力は高いが、自力で生成する能力は低いため、外部知識を注入した探索が有効。
2026-11-17
微分可能有限状態トランスデューサ(DFST)による「正確な学習」と極限的な長さ汎化の実現
Differentiable Exact Learning
出典:arXiv stat.ML (Statistical ML)(Authors: Hristo Papazov, Francesco D'Angelo, Nicolas Flammarion | 2026-11-16)
- 外部環境と状態追跡ニューラルコントローラを結合し、内部状態を隠蔽した軌跡(PTOs)から学習する「微分可能正確学習(DEL)」フレームワークの提案。
- 従来のRNN/GRU等の連続的な表現に対し、DFST(微分可能有限状態トランスデューサ)を導入することで、計算の普遍性を維持しつつ極限的な長さ汎化を達成。
- 算術演算や万能シミュレーション(Turing Machine)といった、厳密な正確性が求められる離散的な論理構造の学習において圧倒的な威力を発揮する。
2026-11-16
タンパク質・リガンド相互作用における創発的能力を持つマルチモーダル基盤モデル「Bonbon」の解析
Emergent Biological Capabilities in a Foundation Model for Molecular Interactions
出典:Hugging Face Daily Papers(Upvotes: 5 | arXiv:2611.14504)
- 3.2兆トークンのタンパク質・リガンド配列から学習し、構造座標なしで相互作用を理解する基盤モデル「Bonbon」の発表。
- 従来のco-folding手法と比較し、5桁以上高速な推論速度を維持しつつ、SOTAの結合能・親和性予測を達成。
- 未知の複合体(OOD)に対しても、作用機序、結合部位、共有結合の有無をゼロショットで識別する創発的能力を発揮。
2026-11-16
楕円関数を用いた最適補間スケジュールとZolotoflow:高条件数分布への超高速・高精度サンプリング
Elliptic Sampling: Optimal Interpolant Schedules for Gaussians and Beyond
出典:arXiv cs.LG (Machine Learning)(Authors: Cole Becker, Taylan Kargin, Kimia Hassibi et al. | 2026-11-13)
- 確率流ODEの解析的性質に基づき、Jacobi楕円関数を用いた新しい分散保存型(Variance-Preserving)補間スケジュールを提案。
- 従来の三角関数スケジュールに対し、ターゲット分布の条件数 $\kappa$ を明示的に組み込むことで、高条件数(細長い分布)への収束を劇的に改善。
- ガウス分布では minimax 最適性を達成し、対数凹分布では次元 $d$ に対して $\sqrt{d}$ の依存度でWasserstein誤差を抑えつつ高速なサンプリングを実現。
2026-11-16
AI生成コードのオープンソース化:知的財産権と開発エコシステムの再定義
All AI-generated code should be Open Source
出典:Hacker News (Top Stories)(HN Score: 135 pts by jcubic)
- AIによって生成されたコードの著作権およびオープンソース化の是非に関する議論。
- クローズドな商用利用による「技術の囲い込み」を避け、共通基盤としてのAIコードの透明性を確保する。
- LLMを用いた自動コーディング、ソフトウェアエンジニアリングの自動化、およびOSSエコシステムの維持において重要。
2026-11-16
MDLMのハルシネーションを抑制する「エントロピー・スパイク」検知と動的デコード戦略
Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.12901)
- マルチモーダル拡散言語モデル(MDLM)における、特定のデノイジング工程で発生するハルシネーション(幻覚)の特定と抑制に関する研究。
- 離散トークンの確定による情報損失を防ぐため、エントロピー急増(スパイク)を検知した際に「潜在空間での連続的な洗練」へ動的に切り替えるStepRefineを提案。
- MDLMを用いたマルチモーダルな推論タスクにおいて、生成の信頼性と正確性を大幅に向上させる。
2026-11-16
シミュレーション内での強化学習によるロボット操作能力の獲得と実世界への汎用性
Training Reasoning Models in Simulation to Natively Use Real Robots
出典:arXiv cs.LG (Machine Learning)(Authors: Jiaming Tang, Zhuoyang Zhang, Junxian Guo et al. | 2026-11-13)
- シミュレーション環境のみで強化学習(RURL)を行い、オープンウェイトモデルにネイティブなロボット操作能力を付与する手法の提案。
- デモンストレーション(模倣学習)に依存せず、Chain of Thought(思考の連鎖)を用いた推論を通じて、未知のロボットや実世界へ高い汎用性を持って転移。
- LIBERO等のタスクにおいて、ベースモデルの成功率を劇的に向上させ、特に未知のタスクに対する堅牢性(Robustness)において模倣学習を凌駕。
2026-11-15
多言語環境における「ナラティブの偏り」を克服するLLM評価基盤:NarrativeBenchの構築
The Narrative Gap: Can LLMs Help Us Navigate Diverse Narratives Across Languages?
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.12750)
- 多言語・多地域にまたがる「相反するナラティブ(語り)」をLLMが適切に提示・識別できるかを評価する研究。
- 既存のLLMは多様な視点の提示を求められても、言語やクエリの枠組みによって情報の偏り(エコーチェンバー)を生む課題を特定。
- 23言語・23の論争的トピックを含む「NarrativeBench」を用い、情報の公平性と網羅性を定量評価する。
2026-11-15
LLMアーキテクチャの「試行錯誤」を資産化する:スケーリング則を用いた検証プラットフォームArchSpace
ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
出典:arXiv cs.LG (Machine Learning)(Authors: Jie Wang, Tong Zhu, JiaHao Kuang et al. | 2026-11-12)
- LLMのアーキテクチャ設計における「成功例・失敗例・その理由」を記録・レビュー・参照するための公開プラットフォームArchSpaceの提案。
- 小規模な実験結果からスケーリング則を用いて大規模モデルでの挙動を予測することで、高コストな大規模学習の前にアーキテクチャの有効性を評価可能にする。
- DeepSeekやQwenのような最新モデルの構造設計や、計算リソースの制約下での効率的なアーキテクチャ選定において極めて強力な武器となる。
2026-11-15
非英語圏言語における生成AIの計算コスト増大とエネルギー効率の乖離
Generative AI uses more energy on non-English text
出典:Hacker News (Top Stories)(HN Score: 68 pts by DeepLogin)
- 非英語のテキストを処理する際の生成AIのエネルギー消費が、英語と比較して顕著に高いという研究結果。
- トークナイザーの効率性の差により、同一意味の文章でも非英語ではより多くのトークンに分割されることが原因。
- 多言語対応モデルのデプロイ時や、計算リソースの制約がある環境での推論コスト最適化において重要な知見となる。
2026-11-15
Latent空間を脱却:PixVidによるピクセル空間への直接的なビデオ拡散モデルの昇華
Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.17336)
- VAEの潜在空間(Latent Space)を介さず、ピクセル空間で直接ビデオを生成する「PixVid」の提案。
- 高解像度化に伴うトークン数の爆発や、複数フレームの依存による反応遅延を解消し、フレーム単位の制御性を向上。
- Wan2.1-14Bをベースとした微調整により、高速な動きにおける深度条件の整合性や、アクションへの即時反応を維持。
2026-11-15
AIプロジェクトの「墓場」から学ぶ:失敗事例に潜む技術的・戦略的落とし穴
The AI graveyard: a running list of projects and startups that didn’t make it
出典:TechCrunch AI(AI Industry)
- AIプロジェクトの失敗事例(Siriの遅延、OpenAIのスーパーアプリ等)を網羅した分析。
- 技術の高度化だけでなく、製品化におけるUX、期待値管理、実装の複雑性がボトルネックになることを示唆。
- モデルの精度(Accuracy)だけでなく、実用的なデプロイメントとユーザー体験の整合性が重要な評価指標となる。
2026-11-14
編集された水印テキストの普及率境界:Power Envelopeとキャリブレーション感度による厳密な評価
Prevalence Bounds for Edited Watermarked Text: Power Envelopes and Calibration Sensitivity
出典:arXiv stat.ML (Statistical ML)(Authors: Kuancheng Ye | 2026-11-12)
- LLM生成テキストに施された「水印(Watermark)」が、人間による編集(改変)を受けた際の「真の普及率」を推定する理論と境界を提示。
- Gumbel-maxやKGW手法において、編集量や置換の制約を考慮した「Power Envelope」を導入することで、最悪のケースを想定した鋭い(Sharpな)上界を導出。
- OPTやQwen等の実データを用いた検証により、ノイズやパラフレーズを含む複雑な環境下でも、信頼区間を維持するためのキャリブレーション手法を確立。
2026-11-14
Agentic Semi-Supervised Learning (AgentSSL): LLMエージェントによる自己教師あり学習プログラムの自動探索
AgentSSL: Can MLE Agents Leverage Unlabeled Data?
出典:arXiv cs.LG (Machine Learning)(Authors: Ethan Lin, Akanksha Sarkar, Ziang Liu et al. | 2026-11-12)
- LLMエージェントを用いて、ラベル付きデータが少ない環境下で「自己教師あり学習(SSL)」のアルゴリズムを自動探索するAgentSSLを提案。
- 既存の人間による手動設計を凌駕し、8/12の実験設定で最大+21.8%の精度向上を達成。
- ラベル付きデータが極めて少なく、未ラベルデータが豊富にある実世界のドメイン(生態系検知等)で特に威力を発揮する。
2026-11-09
NeurIPS登壇におけるAI生成動画によるプレゼンテーション代替の是非と技術的論点
NeurIPS SlidesLive [D]
出典:Reddit r/MachineLearning(ML Research Community)
- NeurIPSの講演録画における外部業者(SlidesLive)の介入と、AI生成動画による代替の可能性に関する議論。
- 人間による実演と比較し、AI生成による「より流暢な発話」と「編集の効率化」という利点と、公式規定との乖離を検討。
- 研究成果の発表(Presentation)という、AIの生成能力を「コンテンツの質」ではなく「デリバリーの最適化」に適用する文脈で注目される。
2026-11-09
Chimera Vocal Synth:高品質な歌声合成を実現する次世代音声生成技術
Chimera Vocal Synth
出典:Hacker News (Top Stories)(HN Score: 137 pts by nmstoker)
- Chimera Vocal Synthは、高度な音声合成技術を用いた歌声生成(Vocal Synthesis)のプロジェクトです。
- 従来の合成技術と比較し、より自然な発声や表現力豊かな歌唱を生成するための高度な推論・生成プロセスを統合しています。
- 特に、高品質な歌唱データや、感情表現を伴う音声生成のタスクにおいて強力な威力を発揮します。
2026-11-09
LoRAスタックのマージと条件付け(Conditioning)の長さ不一致による出力スキップ問題
LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- LoRAを用いたマルチアダプタ(PTとSFT)の統合モデルにおいて、入力キャプションが短い場合に最初の行が出力されない現象の分析。
- アダプタのマージ(bf16)および学習時と推論時での条件付けテキストの長さの乖離が、アテンションの崩壊やトークン位置の不整合を招く可能性を指摘。
- 構造化データ(LEGOの組み立て手順等)を生成するSFTにおいて、入力の長さ分布を考慮したデータ拡張や精度維持のためのマージ手法の検討が必要。
2026-11-09
生成ビデオモデルにおける「因果関係」と「世界状態」の維持:EvoWorldによる動的進化の実現
EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
出典:Hugging Face Daily Papers(Upvotes: 8 | arXiv:2611.06748)
- 生成ビデオモデルを単なる「画素のレンダリング」から「世界状態の推論」へと昇華させるEvoWorldの提案。
- 既存の拡散モデルが抱える「視覚的な妥当性は高いが、因果関係や状態の連続性が欠如する」という課題を克服。
- イベント条件付きの因果進化、反応の正確性、および再訪時の一貫性を評価するデータセットとベンチマークを導入。
2026-11-09
GAP (Gated Attention Projection): AttentionとMLPを統合しパラメータを最大34%削減する新アーキテクチャ
I merged attention and MLP processing into a single gated Transformer block. GAP [R]
出典:Reddit r/MachineLearning(ML Research Community)
- AttentionとMLPの処理を単一のGated Transformerブロックに統合する「GAP」構造の提案。
- 標準的なTransformerと比較し、精度を維持しつつパラメータ数を約20%(最大34%)削減可能。
- WikiText-103を用いた実験では、パラメータ削減とモデル幅の拡張を両立させることで効率的な学習を実現。
2026-11-08
三角形輸送(Triangular Transport)への親しみやすい導入
A friendly introduction to triangular transport
出典:arXiv Core: Conformal, Calibration & Optimal Transport(Authors: Maximilian Ramgraber, Daniel Sharp, Mathieu Le Provost et al. | 2025-03-27)
- 複雑なシステムにおける不確実性の表現を、単純で既知の分布からの変換として近似する「三角形輸送マップ」を提案。
- 三角形輸送の特有の構造により、数学的・計算的な利便性が保証され、実用的な問題解決に適している。
- 密度推定、生成モデリング、ベイズ推論、データ同化、最適実験設計など幅広いタスクへの応用が可能。
2026-11-08
FMIP: 混合整数線形計画問題(MILP)のための連続・整数変数結合フロー
FMIP: Joint Continuous-Integer Flow For Mixed-Integer Linear Programming
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Hongpei Li, Hui Yuan, Han Zhang et al. | 2025-07-31)
- MILPにおける整数変数と連続変数の間の複雑な結合関係を捉えきれない従来の生成モデルの限界を指摘。
- 整数変数と連続変数の結合分布を同時にモデル化する初の生成フレームワーク「FMIP」を提案。
- 情報のボトルネックを解消することで、より最適に近い解の生成とダウンストリームソルバーの加速を実現。
2026-11-08
時系列予測における拡散モデルの台頭:包括的なサーベイ
The Rise of Diffusion Models in Time-Series Forecasting
出典:arXiv Core: Tabular, GBDT & Time-Series(Authors: Caspar Meijer, Lydia Y. Chen | 2024-01-05)
- 生成AI分野でSOTAを記録している拡散モデル(Diffusion Models)の時系列予測への適用を網羅的に調査。
- 11の具体的な時系列実装について、背後にある直感、理論、データセットへの有効性、および相互比較を分析。
- 拡散モデルの条件付け手法(Conditioning)の背景から、現在の技術到達点、将来の研究方向性までを体系的に提示。
2026-11-08
ファイバーワイズ最適輸送を用いたモデル認識型スケジュールによる生成精度の向上
Model-Aware Schedules Improve Generation via Fiberwise Optimal Transport
出典:arXiv Core: Conformal, Calibration & Optimal Transport(Authors: Luyi Jia, Boyan Zhang, Yilun Liu et al. | 2026-09-10)
- 拡散モデルやフローマッチングにおける信号・ノイズ係数のスケジュールを、モデルの予測誤差を考慮した「モデル認識型」へ拡張。
- 最適輸送(Optimal Transport)の概念を応用し、特定の時間と状態における信号・ノイズの分解を「ファイバー」として定義。
- 係数パスの運動エネルギー(Kinetic Action)とファイバー内での予測リスクを組み合わせることで、閉形式(Closed-form)での最適な時間配分を導出。
2026-11-08
拡散モデルの高速化と性能向上を実現するStepX-OPD:マルチティーチャーステップ蒸留の再考
StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.04386)
- 本論文は、拡散モデルの高速化と性能向上を両立させるStepX-OPDという新しい手法を提案しています。
- 従来のマルチティーチャーステップ蒸留では、能力統合とステップ蒸留が段階的に行われていましたが、StepX-OPDはこれらを統合し、学生モデルが能力獲得と高速サンプリングを同時に学習します。
- SD3.5-MediumおよびFLUX.1-devデータセットで評価され、既存手法を上回る性能と、訓練時間の短縮を実現しました。
2026-11-08
多様なText-to-3D生成のためのFlow Score Distillation
Flow Score Distillation for Diverse Text-to-3D Generation
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Runjie Yan, Kailu Wu, Kaisheng Ma | 2024-05-16)
- Score Distillation Sampling (SDS) は高品質な3D資産を生成できるが、最大尤度を求める性質上、生成結果の多様性が制限される課題がある。
- DDIMの生成プロセス(PF-ODE)をSDS損失の類似表現として捉え直し、SDSを一般化されたDDIM生成プロセスとして再定義した。
- ノイズ付加段階におけるノイズサンプリング戦略が多様性を制限していることを特定し、新たなノイズサンプリング手法を用いた「Flow Score Distillation (FSD)」を提案した。
2026-11-08
Delta Denoising Score (DDS): テキストベースの画像編集のための新規スコアリング関数
Delta Denoising Score
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Amir Hertz, Kfir Aberman, Daniel Cohen-Or | 2023-04-14)
- SDS(Score Distillation Sampling)を用いた画像編集において、ノイズの多い勾配により出力がぼやける問題を解決する。
- 入力画像と一致するプロンプトを特定し、それを用いた「Delta Denoising Score (DDS)」を導入することで、不要な勾配方向を排除する。
- 拡散モデルの生成事前分布を活用し、ターゲットプロンプトの内容へ最小限の修正で画像を誘導する。
2026-11-08
離散データのための制約のない単体デノイジング:グラフ生成への非マルコフ的アプローチ
Unrestrained Simplex Denoising for Discrete Data. A Non-Markovian Approach Applied to Graph Generation
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Yoann Boget, Alexandros Kalousis | 2026-03-30)
- 離散状態空間で直接操作する従来の拡散モデルやFlow Matchingに対し、確率単体(Probability Simplex)上で動作するデノイジングフレームワークを提案。
- 異なる時刻のノイズ表現を条件付き独立とする「非マルコフ的ノイズスキーム」を導入することで、モデルの制約を緩和し、数式の簡略化と性能向上を両立。
- 合成データおよび実世界のグラフベンチマークにおいて、強力な離散拡散モデルやFlow Matchingのベースラインを上回る性能を実証。
2026-11-08
生成データセット蒸留:全体構造と局所的詳細のバランスの最適化
Generative Dataset Distillation: Balancing Global Structure and Local Details
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Longzhen Li, Guang Li, Ren Togo et al. | 2024-04-26)
- 大規模データセットから生成モデルへ情報を蒸留する際、全体構造と局所的詳細(テクスチャや形状)の両立を重視する新手法を提案。
- 従来の蒸留手法が抱えていた、再展開時間の長さやクロスアーキテクチャにおける性能低下の問題を解決。
- 高レベルな意味的属性に偏りすぎず、局所的な特徴を保持することで、より高品質な合成データセットの生成を実現。
2026-11-08
MerLin: フォトニックおよびハイブリッド量子機械学習のためのディスカバリーエンジン
MerLin: A Discovery Engine for Photonic and Hybrid Quantum Machine Learning
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Cassandre Notton, Benjamin Stott, Philippe Schoeb et al. | 2026-02-11)
- フォトニックおよびハイブリッド量子機械学習(QML)における実用的な利点を体系的に探索するためのオープンソースフレームワーク「MerLin」を提案。
- PyTorchおよびscikit-learnのワークフローに最適化された線形光学回路の強力なシミュレーションを統合し、量子層のエンドツーエンドの微分可能学習を実現。
- カーネル法、リザーバコンピューティング、CNN/RNN、生成モデルなど、最新のQML研究18件を再現可能なモジュールとして提供。
2026-11-08
最適輸送の構造化正則化を用いた情報量の豊富なGAN
Informative GANs via Structured Regularization of Optimal Transport
出典:arXiv Core: Conformal, Calibration & Optimal Transport(Authors: Pierre Bréchet, Tao Wu, Thomas Möllenhoff et al. | 2019-12-04)
- GANにおける絡み合いのない(disentangled)表現学習を、正則化された最適輸送(OT)の観点から再定義。
- 輸送計画(transportation plan)に対する構造化正則化を導入し、特定の潜在空間が情報の抽出に寄与するように制約。
- 凸双対性を用いることで、情報の豊富な潜在次元においてスパース性を促す「摂動された基底コスト」としての等価な解釈を提示。
2026-11-08
低次元埋め込みを用いた最適輸送の効率的な推定
Efficient estimates of optimal transport via low-dimensional embeddings
出典:arXiv Core: Conformal, Calibration & Optimal Transport(Authors: Patric M. Fulop, Vincent Danos | 2021-11-08)
- 高次元データにおける最適輸送(OT)距離の計算コストを削減するための手法を提案。
- Paty et al. (2019) の低ランク投影手法を拡張し、1-Lipschitz性を満たすより一般的な写像の族を用いてOTを近似。
- 与えられた写像の族においてOTを最大化することで最良の推定値を得る手法を確立し、ニューラルネットワークを用いた実証を行う。
2026-11-08
ユーザー埋め込みを解釈可能な行動モードの重ね合わせとして捉える手法
User Embeddings are Superpositions of Interpretable Behavioral Modes
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Jonathan Kozaczuk, Zheng Dong, Noyan Evirgen et al. | 2026-11-05)
- 本研究は、レコメンデーションシステムなどで利用されるユーザー埋め込みを、解釈可能な行動モードのスパースな重ね合わせとして捉えるという新しい視点を提供する。
- 既存の密な埋め込み表現では解釈が困難であった問題を、スパースオートエンコーダ(SAE)を用いてモードを抽出することで解決し、自然言語によるクエリが可能になる。
- 合成データおよび実データセットでの実験により、SAEが従来のスパースな手法よりも優れたモード回復性能を示すことが検証されている。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。