KNOWLEDGE VAULT — TAG
タグ「蒸留」
収蔵 29件
2026-11-19
Ambient SFT:温度調整による「事前学習の知識」を維持した高効率な微調整手法
Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
出典:arXiv cs.LG (Machine Learning)(Authors: Giannis Daras, Marios Papachristou, Adam Klivans et al. | 2026-11-17)
- 少量の高品質データで微調整を行う際に発生する「過学習」と「分布の裾(Tail)の忘却」を抑制するAmbient SFTの提案。
- 事前学習モデルを「ノイズの多い教師」と見なし、高温度(High-temperature)の確率分布を一致させることで、知識の崩壊を防ぐ。
- ドメイン適応、指示学習(Instruction-tuning)、推論タスクにおいて、標準的なSFTを最大21%改善する。
2026-11-17
eDMD:最終出力分布への集中による拡散モデル蒸留の精度極大化
eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation
出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.17194)
- 拡散モデルを少ステップの生徒モデルへ蒸留する「分布一致蒸留(DMD)」の改良手法eDMDの提案。
- 中間状態ではなく「最終出力(Endpoint)」のみを基準に学習することで、中間分布によるノイズを排除し、正確な一致を保証。
- SD3やFLUX.2といった最新の高品質画像生成モデルにおいて、4ステップ生成時の精度を劇的に向上させる。
2026-11-17
蒸留モデルの多様性崩壊を打破する:中間層の活性化方向の再配分による多様性回復
Restoring Diversity in Distilled Image and Video Generators by Probing Activations
出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.18550)
- 拡散モデルの蒸留(Few-step化)に伴う「生成結果の多様性欠如(Diversity Collapse)」の根本原因を特定。
- 活性化の総分散は維持されているが「方向」が集中していることを突き止め、ReDiverse(FT/TF)でこれを再配分。
- 画像および動画生成の蒸留において、生成品質を維持したまま、異なるシード間の差異を劇的に改善。
2026-11-16
分布の近似一致における発散関数の数値的不安定性と安定化手法の体系化
On numerical issues of divergences between nearly equal distributions
出典:arXiv stat.ML (Statistical ML)(Authors: Brandon Amos | 2026-11-13)
- SoftmaxやSoft Cross-Entropyに加え、KLダイバージェンス、JSD、エントロピー等の標準的な分布間発散関数における数値的不安定性を特定。
- 分布が極めて近い(Nearly Equal)際に発生する丸め誤差や打ち消し誤差を、数値的に安定な再定式化によって解決。
- 知識蒸留、強化学習、近接勾配法など、分布の近似や最適化の安定性が極めて重要なタスクで威力を発揮。
2026-11-16
マルチユーザー・マルチエージェント環境におけるプライバシー保護型・多粒度メモリ抽出システム「MixUA」
Who Remembers What? Multi-Granularity Memory Extraction for Multi-User, Multi-Agent Interaction
出典:Hugging Face Daily Papers(Upvotes: 8 | arXiv:2611.10439)
- 複数ユーザーと多様なエージェントが共存する環境での、経験(レッスン)の共有とプライバシー保護を両立するメモリシステム「MixUA」の提案。
- 個々の軌跡から抽出した「レッスン」を、受益度と秘匿性の度合いに応じて「ユーザー単位」「エージェント単位」「グローバル」の多粒度で動的に割り当てる。
- 異種エージェント間や異なるユーザー間での知識転移を促進しつつ、プライバシー漏洩を極小化(漏洩率0.02%以下)しつつ性能を向上させる。
2026-11-16
MIRIX-2.0:多エージェント協調とハイパーグラフによる高精度・低遅延な長期記憶システム
MIRIX-2.0: Multi-Agent Memory System
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.12068)
- LLMエージェントの長期記憶(パーソナライズ、一貫性、再利用)を最適化する多エージェント記憶システム「MIRIX-2.0」の提案。
- 既存手法(HyperMem等)に対し、ハイパーグラフによる引用構造と予算制検索を導入することで、精度を劇的に向上させつつ検索コストの増大を抑制。
- ドキュメントQA(単一・多段ホップ)、プロシージャルなタスク(WebShop, ALFWorld)、および複雑なスキル習得(MetaClaw-Bench)で圧倒的な優位性を示す。
2026-11-16
ScoreCLR:Denoising Score Matchingを用いた高効率な対照学習と斥力項の最適化
Contrastive latent representation learning with denoising score matching
出典:arXiv stat.ML (Statistical ML)(Authors: Christopher Marouani, Grigory Bartosh, Christian A. Naesseth | 2026-11-13)
- 対照学習における「負例(異なるサンプル)への斥力」を、Denoising Score Matchingを用いて推定するScoreCLRを提案。
- 従来のバッチサイズに依存する負例の比較($O(N^2)$)を、学習可能な斥力項($O(N)$)に置き換え、高次元の呪いを回避。
- SimCLRと同等の精度を維持しつつ、より高いランク(多様性)を持つ潜在表現を、計算コストを抑えて獲得可能。
2026-11-16
直交ヌル空間投影によるLLMの「忘却」と「汎用性能」の分離:軽量アダプタを用いた知識削除技術
Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
出典:arXiv cs.LG (Machine Learning)(Authors: Xiuyuan Wang, Weiming Liu, Zongxin Yang et al. | 2026-11-13)
- LLMから特定の有害・機密情報を削除しつつ、汎用的な能力を維持する「UUE」フレームワークの提案。
- 直交ヌル空間への投影と凸最適化による反極点(Antipodal points)へのマッピングにより、既存手法の課題である「性能劣化」を克服。
- TOFUやWMDPといったベンチマークにおいて、凍結されたバックボーンを維持したまま軽量アダプタ(UUE-L)で高精度な忘却を実現。
2026-11-15
ICLR 2027 査読結果予測・評価ツールに関するコミュニティ動向
ICLR 2027 Reviews Discussion [D]
出典:Reddit r/MachineLearning(ML Research Community)
- ICLR 2027の査読結果公開に向けた、採択確率予測ツールの話題。
- PaperCopilotやPaperScorerといった、査読内容から採択の可能性を推測する外部ツールの紹介。
- 研究の質を定量的に評価・予測する試みであり、研究戦略の策定に寄与する。
2026-11-15
制裁下でも進化を止めない中国AI:禁輸Nvidiaチップによる最先端モデルの構築実態
Export-banned Nvidia chips are behind China’s most powerful AI models — uh-oh, Jensen!
出典:TechCrunch AI(AI Industry)
- 中国の最先端AIモデルが、米国による輸出規制対象であるNvidia製チップを用いて学習されていることが判明。
- ハードウェアの制約(計算リソースの制限)下でも、高度な並列化技術や最適化により高性能なモデル構築が可能であることを示唆。
- 計算資源の制約が厳しい環境下での大規模モデル学習や、ハードウェア依存を減らす効率的なアーキテクチャ設計に極めて重要。
2026-11-14
編集された水印テキストの普及率境界:Power Envelopeとキャリブレーション感度による厳密な評価
Prevalence Bounds for Edited Watermarked Text: Power Envelopes and Calibration Sensitivity
出典:arXiv stat.ML (Statistical ML)(Authors: Kuancheng Ye | 2026-11-12)
- LLM生成テキストに施された「水印(Watermark)」が、人間による編集(改変)を受けた際の「真の普及率」を推定する理論と境界を提示。
- Gumbel-maxやKGW手法において、編集量や置換の制約を考慮した「Power Envelope」を導入することで、最悪のケースを想定した鋭い(Sharpな)上界を導出。
- OPTやQwen等の実データを用いた検証により、ノイズやパラフレーズを含む複雑な環境下でも、信頼区間を維持するためのキャリブレーション手法を確立。
2026-11-09
NeurIPS登壇におけるAI生成動画によるプレゼンテーション代替の是非と技術的論点
NeurIPS SlidesLive [D]
出典:Reddit r/MachineLearning(ML Research Community)
- NeurIPSの講演録画における外部業者(SlidesLive)の介入と、AI生成動画による代替の可能性に関する議論。
- 人間による実演と比較し、AI生成による「より流暢な発話」と「編集の効率化」という利点と、公式規定との乖離を検討。
- 研究成果の発表(Presentation)という、AIの生成能力を「コンテンツの質」ではなく「デリバリーの最適化」に適用する文脈で注目される。
2026-11-09
OpenAIの時価総額1.25兆ドル規模への急成長とAIインフラ投資の加速
OpenAI raises $11B at a $1.25T valuation
出典:Hacker News (Top Stories)(HN Score: 55 pts by armcat)
- OpenAIが時価総額1.25兆ドルという巨額評価額で110億ドルの資金調達を実施した。
- 当初の目標(1.4兆ドル)を下回る評価額での調達であり、市場の過熱感に対する現実的な調整と、強固な資本基盤の確保を両立させた。
- LLMの推論コスト削減、次世代モデルの学習、およびAIインフラの垂直統合といった、大規模計算資源を要する問題設定において極めて重要な動向。
2026-11-09
重み空間プログラミング(WSP):勾配更新を介さない超高効率なモデル編集と汎化性能の探求
Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations
出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.09382)
- 推論エージェントがニューラルネットワークのパラメータを直接操作・修正する「Weight-Space Programming (WSP)」の能力と限界を評価。
- 勾配ベースの微調整(Fine-tuning)に対し、わずか1,023個のパラメータ修正でMATH-500等のベンチマークで最大29.45ptの精度向上を達成。
- 特定のタスク(数学等)の編集が他タスク(GPQA, SciBench等)へ正の転移を起こす一方で、汎化の不均衡や編集の不安定性も確認。
2026-11-09
レガシーハードウェアへの最新OS移植を通じたエッジAI・リソース最適化の極致
Porting Android 16 to my blind mother's keypad phone
出典:Hacker News (Top Stories)(HN Score: 76 pts by z1xus)
- 極めて低スペックなキーパッド携帯電話(e-waste)へのAndroid 16移植という、極限のハードウェア制約下でのソフトウェア実装事例。
- 標準的なリソース消費を前提としたモダンOSを、ハードウェアの物理的限界に合わせて徹底的に軽量化・最適化するアプローチ。
- エッジデバイス、IoT、または極めて計算資源の限られた環境での推論・実行モデルの軽量化(Model Compression/Quantization)に転用可能。
2026-11-09
LoRAスタックのマージと条件付け(Conditioning)の長さ不一致による出力スキップ問題
LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- LoRAを用いたマルチアダプタ(PTとSFT)の統合モデルにおいて、入力キャプションが短い場合に最初の行が出力されない現象の分析。
- アダプタのマージ(bf16)および学習時と推論時での条件付けテキストの長さの乖離が、アテンションの崩壊やトークン位置の不整合を招く可能性を指摘。
- 構造化データ(LEGOの組み立て手順等)を生成するSFTにおいて、入力の長さ分布を考慮したデータ拡張や精度維持のためのマージ手法の検討が必要。
2026-11-09
AIバブル論への反論:実用性と経済的価値に基づく技術的妥当性の再評価
I'm not convinced the AI bubble exists
出典:Hacker News (Top Stories)(HN Score: 79 pts by matteoraso)
- AI技術の過熱に対する「バブル論」に対し、実用的な価値創出と技術的進歩の連続性を重視する視点。
- 単なる期待値の暴騰ではなく、推論コストの低下、マルチモーダル統合、エッジ展開といった実用技術の進展を重視。
- LLMの推論能力、マルチモーダル学習、および実世界へのデプロイメントを伴うビジネス実装の評価において有用。
2026-11-08
学習軌跡の照合によるデータセット蒸留
Dataset Distillation by Matching Training Trajectories
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: George Cazenavette, Tongzhou Wang, Antonio Torralba et al. | 2022-03-22)
- フルデータセットで学習したモデルの精度に匹敵する、極小の合成データセットを生成する「データセット蒸留」を提案。
- 単一の最終状態の模倣ではなく、複数の学習ステップにおけるネットワークの「学習軌跡」を一致させることを目的とした新しい定式化を導入。
- 大規模データに対応するため、エキスパートネットワークの学習軌跡を事前計算・保存し、合成データの最適化に利用することで高解像度データの蒸留を実現。
2026-11-08
知識蒸留のためのTriplet Lossの導入
Triplet Loss for Knowledge Distillation
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Hideki Oki, Motoshi Abe, Junichi Miyao et al. | 2020-04-17)
- モデルの巨大化に伴う計算コストを削減するため、知識蒸留(KD)を用いたモデル圧縮が重要となっている。
- 従来の知識蒸留は教師モデルと生徒モデルの出力の類似性を高めることに主眼を置いている。
- 本研究では、メトリック学習(Metric Learning)の概念を導入し、訓練サンプルのペアまたはトリプレットを用いて生徒モデルを教師モデルに近づける手法を提案する。
2026-11-08
知識蒸留のための微分可能特徴量集約探索(DFA)
Differentiable Feature Aggregation Search for Knowledge Distillation
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yushuo Guan, Pengyu Zhao, Bingxuan Wang et al. | 2020-08-02)
- マルチティーチャー蒸留は高い性能を誇るが、計算リソースのコストが課題となっている。
- 単一ティーチャーの枠組み内で、複数のティーチャー特徴量から有益な情報を抽出する「特徴量集約」を導入。
- DARTSに着想を得た2段階の微分可能特徴量集約探索(DFA)手法により、効率的に最適な集約構造を特定する。
2026-11-08
オンポリシー蒸留:GRPOと比較して、教師モデルのチェックポイントを蒸留することで計算効率が劇的に向上する
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Zeyu Leo Liu, Yang Li, Bo Pang et al. | 2026-11-05)
- 本論文は、オンポリシー蒸留 (OPD) が、特に教師モデルとして自身のGRPOチェックポイントを使用する場合、GRPOと比較して計算効率が大幅に向上することを示しています。
- GRPOと比較して、OPDは同じ精度を達成するために必要なFLOPsを50倍削減できる可能性があり、大規模言語モデルの効率的な学習に貢献します。
- 特に、複数のドメインにわたるタスクにおいて、GRPOの専門家を単一の学生モデルに統合するマルチティーチャOPDは、計算コストを大幅に削減しつつ、高い性能を維持できます。
2026-11-08
拡散モデルの高速化と性能向上を実現するStepX-OPD:マルチティーチャーステップ蒸留の再考
StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models
出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.04386)
- 本論文は、拡散モデルの高速化と性能向上を両立させるStepX-OPDという新しい手法を提案しています。
- 従来のマルチティーチャーステップ蒸留では、能力統合とステップ蒸留が段階的に行われていましたが、StepX-OPDはこれらを統合し、学生モデルが能力獲得と高速サンプリングを同時に学習します。
- SD3.5-MediumおよびFLUX.1-devデータセットで評価され、既存手法を上回る性能と、訓練時間の短縮を実現しました。
2026-11-08
多様なText-to-3D生成のためのFlow Score Distillation
Flow Score Distillation for Diverse Text-to-3D Generation
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Runjie Yan, Kailu Wu, Kaisheng Ma | 2024-05-16)
- Score Distillation Sampling (SDS) は高品質な3D資産を生成できるが、最大尤度を求める性質上、生成結果の多様性が制限される課題がある。
- DDIMの生成プロセス(PF-ODE)をSDS損失の類似表現として捉え直し、SDSを一般化されたDDIM生成プロセスとして再定義した。
- ノイズ付加段階におけるノイズサンプリング戦略が多様性を制限していることを特定し、新たなノイズサンプリング手法を用いた「Flow Score Distillation (FSD)」を提案した。
2026-11-08
Appleの「グレーリスト」:LLM/予測変換における意図的な制約とバイアス制御
Apple’s grey list: Words and phrases your iPhone won’t help you spell
出典:Hacker News (Top Stories)(HN Score: 391 pts by user_7832)
- AppleのiPhoneが特定の単語(蔑称や差別用語など)のスペル修正を意図的に制限する「グレーリスト」の仕組みに関する報告。
- 純粋な確率論的予測(次単語予測)に対し、倫理的・社会的制約を後処理(Post-processing)で強制的に介入させる手法。
- LLMの安全性(Safety Alignment)や、ユーザーインターフェースにおける「不適切な出力の抑制」という制約付き最適化問題に適用可能。
2026-11-08
Microsoft Research AI Frontiers部門の閉鎖と、研究の「実用・商業化」へのシフト
The end of Microsoft Research's AI Frontiers group
出典:Hacker News (Top Stories)(HN Score: 417 pts by srean)
- Microsoft Researchの最先端研究を担う「AI Frontiers」グループの閉鎖に関するニュース。
- 基礎研究から、より製品への統合や商業的インパクトを重視する実用的なAI開発へのリソース再配分を意味する。
- 特定のアルゴリズムの改善ではなく、AI開発における「研究から実装への移行」という戦略的トレンドを反映。
2026-11-08
Delta Denoising Score (DDS): テキストベースの画像編集のための新規スコアリング関数
Delta Denoising Score
出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Amir Hertz, Kfir Aberman, Daniel Cohen-Or | 2023-04-14)
- SDS(Score Distillation Sampling)を用いた画像編集において、ノイズの多い勾配により出力がぼやける問題を解決する。
- 入力画像と一致するプロンプトを特定し、それを用いた「Delta Denoising Score (DDS)」を導入することで、不要な勾配方向を排除する。
- 拡散モデルの生成事前分布を活用し、ターゲットプロンプトの内容へ最小限の修正で画像を誘導する。
2026-11-08
生成データセット蒸留:全体構造と局所的詳細のバランスの最適化
Generative Dataset Distillation: Balancing Global Structure and Local Details
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Longzhen Li, Guang Li, Ren Togo et al. | 2024-04-26)
- 大規模データセットから生成モデルへ情報を蒸留する際、全体構造と局所的詳細(テクスチャや形状)の両立を重視する新手法を提案。
- 従来の蒸留手法が抱えていた、再展開時間の長さやクロスアーキテクチャにおける性能低下の問題を解決。
- 高レベルな意味的属性に偏りすぎず、局所的な特徴を保持することで、より高品質な合成データセットの生成を実現。
2026-11-08
単純なピック・アンド・プレイスを超えて:多様な形状のロボットスタッキングへの挑戦
Beyond Pick-and-Place: Tackling Robotic Stacking of Diverse Shapes
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Alex X. Lee, Coline Devin, Yuxiang Zhou et al. | 2021-10-12)
- 複雑な幾何学的形状を持つ物体を扱うための、高度なスタッキングタスクとデータセットを提案。
- 強化学習(RL)、視覚ベースのインタラクティブなポリシー蒸留、およびSim-to-Real転送を組み合わせた手法を開発。
- シミュレーションでの学習における重要因子を特定し、収集したデータを用いてオフライン強化学習でポリシーを改善。
2026-11-08
DistillLens: Logit Lensを用いた対称的知識蒸留
DistillLens: Symmetric Knowledge Distillation Through Logit Lens
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Manish Dhakal, Uthman Jinadu, Anjila Budathoki et al. | 2026-02-14)
- 従来の知識蒸留(KD)は教師モデルの中間層の思考プロセスをブラックボックスとして扱う課題がある。
- DistillLensは、Logit Lensを用いて中間隠れ状態を語彙空間に投影し、教師と生徒の思考プロセスを対称的に整列させる。
- 対称的な発散(Symmetric Divergence)を用いることで、過度な自信(Overconfidence)と自信のなさ(Underconfidence)の両方を抑制し、高エントロピーな推論経路を維持する。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。