KNOWLEDGE VAULT — TAG

タグ「蒸留」

収蔵 29件
2026-11-19

Ambient SFT:温度調整による「事前学習の知識」を維持した高効率な微調整手法

Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

出典:arXiv cs.LG (Machine Learning)(Authors: Giannis Daras, Marios Papachristou, Adam Klivans et al. | 2026-11-17)

2026-11-17

eDMD:最終出力分布への集中による拡散モデル蒸留の精度極大化

eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation

出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.17194)

2026-11-17

蒸留モデルの多様性崩壊を打破する:中間層の活性化方向の再配分による多様性回復

Restoring Diversity in Distilled Image and Video Generators by Probing Activations

出典:Hugging Face Daily Papers(Upvotes: 0 | arXiv:2611.18550)

2026-11-16

分布の近似一致における発散関数の数値的不安定性と安定化手法の体系化

On numerical issues of divergences between nearly equal distributions

出典:arXiv stat.ML (Statistical ML)(Authors: Brandon Amos | 2026-11-13)

2026-11-16

マルチユーザー・マルチエージェント環境におけるプライバシー保護型・多粒度メモリ抽出システム「MixUA」

Who Remembers What? Multi-Granularity Memory Extraction for Multi-User, Multi-Agent Interaction

出典:Hugging Face Daily Papers(Upvotes: 8 | arXiv:2611.10439)

2026-11-16

MIRIX-2.0:多エージェント協調とハイパーグラフによる高精度・低遅延な長期記憶システム

MIRIX-2.0: Multi-Agent Memory System

出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.12068)

2026-11-16

ScoreCLR:Denoising Score Matchingを用いた高効率な対照学習と斥力項の最適化

Contrastive latent representation learning with denoising score matching

出典:arXiv stat.ML (Statistical ML)(Authors: Christopher Marouani, Grigory Bartosh, Christian A. Naesseth | 2026-11-13)

2026-11-16

直交ヌル空間投影によるLLMの「忘却」と「汎用性能」の分離:軽量アダプタを用いた知識削除技術

Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection

出典:arXiv cs.LG (Machine Learning)(Authors: Xiuyuan Wang, Weiming Liu, Zongxin Yang et al. | 2026-11-13)

2026-11-15

ICLR 2027 査読結果予測・評価ツールに関するコミュニティ動向

ICLR 2027 Reviews Discussion [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-15

制裁下でも進化を止めない中国AI:禁輸Nvidiaチップによる最先端モデルの構築実態

Export-banned Nvidia chips are behind China’s most powerful AI models — uh-oh, Jensen!

出典:TechCrunch AI(AI Industry)

推論最適化LLM蒸留混合精度学習分散学習推論タスク
2026-11-14

編集された水印テキストの普及率境界:Power Envelopeとキャリブレーション感度による厳密な評価

Prevalence Bounds for Edited Watermarked Text: Power Envelopes and Calibration Sensitivity

出典:arXiv stat.ML (Statistical ML)(Authors: Kuancheng Ye | 2026-11-12)

2026-11-09

NeurIPS登壇におけるAI生成動画によるプレゼンテーション代替の是非と技術的論点

NeurIPS SlidesLive [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-09

OpenAIの時価総額1.25兆ドル規模への急成長とAIインフラ投資の加速

OpenAI raises $11B at a $1.25T valuation

出典:Hacker News (Top Stories)(HN Score: 55 pts by armcat)

2026-11-09

重み空間プログラミング(WSP):勾配更新を介さない超高効率なモデル編集と汎化性能の探求

Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations

出典:Hugging Face Daily Papers(Upvotes: 3 | arXiv:2611.09382)

2026-11-09

レガシーハードウェアへの最新OS移植を通じたエッジAI・リソース最適化の極致

Porting Android 16 to my blind mother's keypad phone

出典:Hacker News (Top Stories)(HN Score: 76 pts by z1xus)

2026-11-09

LoRAスタックのマージと条件付け(Conditioning)の長さ不一致による出力スキップ問題

LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]

出典:Reddit r/MachineLearning(ML Research Community)

2026-11-09

AIバブル論への反論:実用性と経済的価値に基づく技術的妥当性の再評価

I'm not convinced the AI bubble exists

出典:Hacker News (Top Stories)(HN Score: 79 pts by matteoraso)

2026-11-08

学習軌跡の照合によるデータセット蒸留

Dataset Distillation by Matching Training Trajectories

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: George Cazenavette, Tongzhou Wang, Antonio Torralba et al. | 2022-03-22)

2026-11-08

知識蒸留のためのTriplet Lossの導入

Triplet Loss for Knowledge Distillation

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Hideki Oki, Motoshi Abe, Junichi Miyao et al. | 2020-04-17)

2026-11-08

知識蒸留のための微分可能特徴量集約探索(DFA)

Differentiable Feature Aggregation Search for Knowledge Distillation

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yushuo Guan, Pengyu Zhao, Bingxuan Wang et al. | 2020-08-02)

2026-11-08

オンポリシー蒸留:GRPOと比較して、教師モデルのチェックポイントを蒸留することで計算効率が劇的に向上する

Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO

出典:arXiv 2026: Calibration, Conformal & Optimal Transport(Authors: Zeyu Leo Liu, Yang Li, Bo Pang et al. | 2026-11-05)

2026-11-08

拡散モデルの高速化と性能向上を実現するStepX-OPD:マルチティーチャーステップ蒸留の再考

StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models

出典:Hugging Face Daily Papers(Upvotes: 4 | arXiv:2611.04386)

2026-11-08

多様なText-to-3D生成のためのFlow Score Distillation

Flow Score Distillation for Diverse Text-to-3D Generation

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Runjie Yan, Kailu Wu, Kaisheng Ma | 2024-05-16)

2026-11-08

Appleの「グレーリスト」:LLM/予測変換における意図的な制約とバイアス制御

Apple’s grey list: Words and phrases your iPhone won’t help you spell

出典:Hacker News (Top Stories)(HN Score: 391 pts by user_7832)

2026-11-08

Microsoft Research AI Frontiers部門の閉鎖と、研究の「実用・商業化」へのシフト

The end of Microsoft Research's AI Frontiers group

出典:Hacker News (Top Stories)(HN Score: 417 pts by srean)

2026-11-08

Delta Denoising Score (DDS): テキストベースの画像編集のための新規スコアリング関数

Delta Denoising Score

出典:arXiv Core: Random Matrix Theory & Ising Spin Glass(Authors: Amir Hertz, Kfir Aberman, Daniel Cohen-Or | 2023-04-14)

2026-11-08

生成データセット蒸留:全体構造と局所的詳細のバランスの最適化

Generative Dataset Distillation: Balancing Global Structure and Local Details

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Longzhen Li, Guang Li, Ren Togo et al. | 2024-04-26)

2026-11-08

単純なピック・アンド・プレイスを超えて:多様な形状のロボットスタッキングへの挑戦

Beyond Pick-and-Place: Tackling Robotic Stacking of Diverse Shapes

出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Alex X. Lee, Coline Devin, Yuxiang Zhou et al. | 2021-10-12)

2026-11-08

DistillLens: Logit Lensを用いた対称的知識蒸留

DistillLens: Symmetric Knowledge Distillation Through Logit Lens

出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Manish Dhakal, Uthman Jinadu, Anjila Budathoki et al. | 2026-02-14)

このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。