KNOWLEDGE VAULT — TAG
タグ「量子化」
収蔵 11件
2026-11-15
推論高速化の基盤:GGML v1.0.0 リリースによるテンソル演算の標準化
Ggml v1.0.0
出典:Hacker News (Top Stories)(HN Score: 355 pts by cobychapple)
- 機械学習モデルの推論・学習を支えるC言語ベースのテンソルライブラリ「GGML」のv1.0.0リリース。
- Python依存を最小化し、CPU/GPUを問わず極めて軽量かつ高速なテンソル演算とメモリ管理を実現。
- LLM(大規模言語モデル)のローカル推論や、エッジデバイスでの高速な推論パイプライン構築に極めて強力。
2026-11-09
OpenAIの時価総額1.25兆ドル規模への急成長とAIインフラ投資の加速
OpenAI raises $11B at a $1.25T valuation
出典:Hacker News (Top Stories)(HN Score: 55 pts by armcat)
- OpenAIが時価総額1.25兆ドルという巨額評価額で110億ドルの資金調達を実施した。
- 当初の目標(1.4兆ドル)を下回る評価額での調達であり、市場の過熱感に対する現実的な調整と、強固な資本基盤の確保を両立させた。
- LLMの推論コスト削減、次世代モデルの学習、およびAIインフラの垂直統合といった、大規模計算資源を要する問題設定において極めて重要な動向。
2026-11-09
レガシーハードウェアへの最新OS移植を通じたエッジAI・リソース最適化の極致
Porting Android 16 to my blind mother's keypad phone
出典:Hacker News (Top Stories)(HN Score: 76 pts by z1xus)
- 極めて低スペックなキーパッド携帯電話(e-waste)へのAndroid 16移植という、極限のハードウェア制約下でのソフトウェア実装事例。
- 標準的なリソース消費を前提としたモダンOSを、ハードウェアの物理的限界に合わせて徹底的に軽量化・最適化するアプローチ。
- エッジデバイス、IoT、または極めて計算資源の限られた環境での推論・実行モデルの軽量化(Model Compression/Quantization)に転用可能。
2026-11-09
GPUレス環境での超巨大モデル(284B DeepSeek)の64GB RAM動作を実現するLlama-modchip
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
出典:Hacker News (Top Stories)(HN Score: 151 pts by joshcsimmons)
- GPUを一切使用せず、64GBのRAMのみで284BパラメータのDeepSeekモデルを動作させる技術。
- 従来の推論環境では要求される膨大なVRAMを、高度なメモリ最適化とモジュール化(modchip)で克服。
- リソース制約の厳しいエッジデバイスや、高コストなGPUインフラを回避したい大規模推論のデプロイに威力を発揮。
2026-11-08
加法的2のべき乗量子化(APoT):ニューラルネットワークのための効率的な非一様離散化
Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yuhang Li, Xin Dong, Wei Wang | 2019-09-28)
- ニューラルネットワークの重みや活性化関数の鐘型・ロングテール分布に適した、非一様量子化手法「APoT」を提案。
- すべての量子化レベルを「2のべき乗の和」として制約することで、高い計算効率と分布への適合性を両立。
- クリッピング関数の再パラメータ化と重み正規化を導入し、学習の安定性と精度の向上を実現。
2026-11-08
オフラインRAGにおけるテキストとベクトルの一貫性欠落:攻撃への脆弱性と対策
Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation
出典:Hugging Face Daily Papers(Upvotes: 2 | arXiv:2611.06498)
- 本研究は、エッジデバイスで利用されるオフラインRAGシステムにおける、テキストとベクトル表現の一貫性欠落(text-vector integrity gap)に着目し、その脆弱性を分析した。
- 攻撃者は、ベクトルを改ざんすることで、検索結果を操作し、誤った情報を提示できる可能性があり、既存の単純な検証手法では十分な防御ができない。
- 量子化されたベクトルストアの監査や、浮動小数点数演算の再現性問題など、RAGシステムのセキュリティに関する新たな課題を提示し、対策を提案している。
2026-11-08
decoupleQ: パラメータの整数部と浮動小数点部への分離による2ビット事後学習一様量子化
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yi Guo, Fanliu Kong, Xiaoyang Li et al. | 2024-04-19)
- 極低ビット(特に2ビット)における量子化時の大幅な精度低下を解決する手法を提案。
- 従来のヒューリスティックな量子化手法を廃止し、パラメータを整数部と浮動小数点部に分離。
- 量子化問題を制約付きの伝統的な数学的最適化問題へと変換することで、精度の維持と効率性を両立。
2026-11-08
量子化誤差の補償:相互補完のための階層的重み構造の導入
Compensate Quantization Errors: Make Weights Hierarchical to Compensate Each Other
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-06-24)
- LLMの量子化に伴う精度低下を解決するため、既存の「他方の重みによる誤差補償」と「難易度の転移」という2つのアプローチを統合。
- Learnable Singular Value Increment (LSI) を提案し、特異値分解(SVD)を用いて抽出した特異値を学習可能にすることで、活性化条件に応じた重み間の相互補完を実現。
- LSIを既存の量子化技術と組み合わせることで、多様な量子化設定においてSOTA(最先端)の性能を達成。
2026-11-08
量子化を考慮した学習(QAT)におけるスケーリング則
Scaling Law for Quantization-Aware Training
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Mengzhao Chen, Chaoyi Zhang, Jing Liu et al. | 2025-05-20)
- LLMのデプロイ課題を解決する量子化を考慮した学習(QAT)において、モデルサイズ、学習データ量、量子化粒度の影響を統合したスケーリング則を提案。
- 268の実験を通じて、量子化誤差はモデルサイズに比例して減少するが、学習トークン数や量子化グループサイズの粗さによって増加することを解明。
- W4A4(4ビット重み・4ビット活性化)における量子化誤差を重みと活性化のコンポーネントに分解し、それぞれの挙動を特定。
2026-11-08
量子化誤差の補償+: 量子化モデルは探求的な学習者である
Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-07-22)
- 既存のLLM量子化手法は重みと活性化の相互作用や補助コンポーネントに焦点を当てており、量子化過程における重みの動的な調整を軽視している。
- 単純なRound-to-Nearest (RTN) 量子化では元の重み分布が最適でないため、混合精度や低ランク近似などの手法は計算オーバーヘッドを増大させる。
- 従来の生成事後学習量子化(GPTQ等)は局所的な誤差を最小化する手動調整に依存しており、グローバルな最適化には至っていない。
2026-11-08
PrefixQuant: プレフィックストークンによるLLMのトークン単位外れ値の除去と量子化
PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute(Authors: Mengzhao Chen, Yi Liu, Jiahao Wang et al. | 2024-10-07)
- 従来の量子化手法がチャネル単位の外れ値に集中する一方で、精度を制限するトークン単位の外れ値を無視している問題を特定。
- KVキャッシュ内の外れ値トークンにプレフィックスを付与することで、学習不要かつ極めて高速に外れ値を分離する手法を提案。
- ブロック単位の学習可能なパラメータを導入することで量子化誤差を補正し、W4A4KV4やW4A8KV4といった低ビット環境でSOTAを達成。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。