KNOWLEDGE VAULT — ARCHIVE
量子・量子化(2026-11)
この月の収蔵 10件
2026-11-08
加法的2のべき乗量子化(APoT):ニューラルネットワークのための効率的な非一様離散化
Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yuhang Li, Xin Dong, Wei Wang | 2019-09-28)
- ニューラルネットワークの重みや活性化関数の鐘型・ロングテール分布に適した、非一様量子化手法「APoT」を提案。
- すべての量子化レベルを「2のべき乗の和」として制約することで、高い計算効率と分布への適合性を両立。
- クリッピング関数の再パラメータ化と重み正規化を導入し、学習の安定性と精度の向上を実現。
2026-11-08
経験的ベイズ縮小を用いたペア比較モデルの改善
Improving pairwise comparison models using Empirical Bayes shrinkage
出典:arXiv Core: Ensemble Diversity & Empirical Bayes(Authors: Stephen Ragain, Alexander Peysakhovich, Johan Ugander | 2018-07-24)
- ショッピングやスポーツ等のペア比較データにおいて、サンプル数が少ない場合の予測精度向上を目的とする。
- 最大尤度推定(MLE)よりも、縮小推定(Shrinkage Estimators)を用いる方が、少数のデータセットにおいて優れた性能を示すことを指摘。
- 条件付き多項ロジットモデル等の標準的なモデルでは「勝者」のみを扱うため、比較プロセスそのものを考慮した縮小推定手法を導出。
2026-11-08
decoupleQ: パラメータの整数部と浮動小数点部への分離による2ビット事後学習一様量子化
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yi Guo, Fanliu Kong, Xiaoyang Li et al. | 2024-04-19)
- 極低ビット(特に2ビット)における量子化時の大幅な精度低下を解決する手法を提案。
- 従来のヒューリスティックな量子化手法を廃止し、パラメータを整数部と浮動小数点部に分離。
- 量子化問題を制約付きの伝統的な数学的最適化問題へと変換することで、精度の維持と効率性を両立。
2026-11-08
量子化誤差の補償:相互補完のための階層的重み構造の導入
Compensate Quantization Errors: Make Weights Hierarchical to Compensate Each Other
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-06-24)
- LLMの量子化に伴う精度低下を解決するため、既存の「他方の重みによる誤差補償」と「難易度の転移」という2つのアプローチを統合。
- Learnable Singular Value Increment (LSI) を提案し、特異値分解(SVD)を用いて抽出した特異値を学習可能にすることで、活性化条件に応じた重み間の相互補完を実現。
- LSIを既存の量子化技術と組み合わせることで、多様な量子化設定においてSOTA(最先端)の性能を達成。
2026-11-08
量子化を考慮した学習(QAT)におけるスケーリング則
Scaling Law for Quantization-Aware Training
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Mengzhao Chen, Chaoyi Zhang, Jing Liu et al. | 2025-05-20)
- LLMのデプロイ課題を解決する量子化を考慮した学習(QAT)において、モデルサイズ、学習データ量、量子化粒度の影響を統合したスケーリング則を提案。
- 268の実験を通じて、量子化誤差はモデルサイズに比例して減少するが、学習トークン数や量子化グループサイズの粗さによって増加することを解明。
- W4A4(4ビット重み・4ビット活性化)における量子化誤差を重みと活性化のコンポーネントに分解し、それぞれの挙動を特定。
2026-11-08
NISQ回路コンパイルのためのKnuth-Bendix補完アルゴリズムとシャッフル代数
Knuth-Bendix Completion Algorithm and Shuffle Algebras For Compiling NISQ Circuits
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Raouf Dridi, Hedayat Alghassi, Sridhar Tayur | 2019-04-30)
- 量子回路のコンパイルを、非可換多項式代数 $\mathbb Q\langle X\rangle$ 上の書き換えシステムとして定式化。
- ハードウェアの制約を書き換え規則 $\mathcal R$ として定義し、理想的なゲートをその正規形へ変換することでコンパイルを行う。
- 書き換えシステムの生成に、Knuth-Bendix補完アルゴリズムとシャッフル代数上のBuchbergerアルゴリズムの2つの手法を導入。
2026-11-08
量子コンピューティング技術を支えるための記号的量子プログラミング
Symbolic quantum programming for supporting applications of quantum computing technologies
出典:arXiv Core: Combinatorial MILP & Quantum Compilation(Authors: Jarosław Adam Miszczak | 2023-02-18)
- 量子回路の記号的操作を可能にするソフトウェアツールの開発状況と展望を提示。
- 既存の量子ソフトウェア開発手法の強みと弱みを調査し、理想的なフレームワークの特性を定義。
- 量子プログラムの作成、最適化、テストを支援するためのソフトウェアアーキテクチャと初期実装を提案。
2026-11-08
MerLin: フォトニックおよびハイブリッド量子機械学習のためのディスカバリーエンジン
MerLin: A Discovery Engine for Photonic and Hybrid Quantum Machine Learning
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian(Authors: Cassandre Notton, Benjamin Stott, Philippe Schoeb et al. | 2026-02-11)
- フォトニックおよびハイブリッド量子機械学習(QML)における実用的な利点を体系的に探索するためのオープンソースフレームワーク「MerLin」を提案。
- PyTorchおよびscikit-learnのワークフローに最適化された線形光学回路の強力なシミュレーションを統合し、量子層のエンドツーエンドの微分可能学習を実現。
- カーネル法、リザーバコンピューティング、CNN/RNN、生成モデルなど、最新のQML研究18件を再現可能なモジュールとして提供。
2026-11-08
量子化誤差の補償+: 量子化モデルは探求的な学習者である
Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-07-22)
- 既存のLLM量子化手法は重みと活性化の相互作用や補助コンポーネントに焦点を当てており、量子化過程における重みの動的な調整を軽視している。
- 単純なRound-to-Nearest (RTN) 量子化では元の重み分布が最適でないため、混合精度や低ランク近似などの手法は計算オーバーヘッドを増大させる。
- 従来の生成事後学習量子化(GPTQ等)は局所的な誤差を最小化する手動調整に依存しており、グローバルな最適化には至っていない。
2026-11-08
PrefixQuant: プレフィックストークンによるLLMのトークン単位外れ値の除去と量子化
PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Mengzhao Chen, Yi Liu, Jiahao Wang et al. | 2024-10-07)
- 従来の量子化手法がチャネル単位の外れ値に集中する一方で、精度を制限するトークン単位の外れ値を無視している問題を特定。
- KVキャッシュ内の外れ値トークンにプレフィックスを付与することで、学習不要かつ極めて高速に外れ値を分離する手法を提案。
- ブロック単位の学習可能なパラメータを導入することで量子化誤差を補正し、W4A4KV4やW4A8KV4といった低ビット環境でSOTAを達成。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。