KNOWLEDGE VAULT — TAG
タグ「LoRA」
収蔵 6件
全6件
収蔵記事一覧
2026-11-20
拡散Transformerの強化学習は「アクティベーション・ステアリング」に集約される
RL Post-Training in Diffusion Transformers Is Activation Steering
出典:arXiv cs.LG (Machine Learning)(Authors: Tuna Han Salih Meral, Kaan Oktay, Alec Helbling et al. | 2026-11-19)
- 拡散Transformer(DiT)の強化学習(RL)による性能向上は、入力依存の複雑な変換ではなく、固定の「ステアリングベクトル」によるシフトで説明可能。
- LoRA等の重み更新と比較し、極めて少ないパラメータ数(約65倍の削減)で、RLによる報酬獲得の90%以上を再現できることを示した。
- 特にテキストレンダリング(OCR)や人間好みの評価(PickScore)において、事前学習モデルが既に持つ能力を「引き出す」だけで劇的な改善が見込める。
2026-11-20
圧縮モーメンタム誤差フィードバックにおける次元非依存のバッファ境界の導出
Dimension-Free Buffer Bounds for Compressed-Momentum Error Feedback
出典:arXiv cs.LG (Machine Learning)(Authors: Alireza Moayedikia | 2026-11-19)
- 圧縮モーメンタム(Compressed-Momentum)を用いた誤差フィードバックのメモリバッファ境界に関する理論的分析。
- 従来の収縮定数に基づく境界($p/r$に依存)を、次元数 $m, n$ およびランク $r$ に依存しない定数へと改善。
- BERTのファインチューニング等の大規模モデルにおいて、極めて低い精度低下($F_1$スコアで0.008未満)でメモリ効率を最大化できる。
2026-11-17
希少言語「Even」への対応:トークナイザー拡張とLoRAを用いたマルチモーダル学習の最適化
EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
出典:Hugging Face Daily Papers(Upvotes: 1 | arXiv:2611.16500)
- 絶滅の危機にある北東ツングス系言語「Even」における初のテキスト・マルチモーダル(VQA)データセット「EvenVLM」の構築。
- 膠着語特有の形態素解析を最適化するため、独自の3段階トークナイザー拡張アルゴリズムを導入し、平均トークン数を27%削減。
- 低リソース言語において、LoRAを用いた効率的なパラメータ更新と、視覚情報の統合によるVQAタスクの劇的な精度向上(0%→65%)を実証。
2026-11-14
LoRAと合成データを用いたTransformerによる連続血糖値(CGM)予測モデルの構築
I have trained a model to predict my blood sugar [P]
出典:Reddit r/MachineLearning(ML Research Community)
- 合成データによる事前学習とLoRAを用いた個人データへの適応を組み合わせた、Encoder-only Transformerによる血糖値予測モデルの構築。
- 大規模な合成データ(19,200 CGM年分)による事前学習と、DILATEリスク空間へのマッピングにより、予測精度と反事実的推論能力を両立。
- 時系列データ(CGM、インスリン、炭水化物)を入力とし、将来予測、欠損補完、過去へのバックキャストを単一モデルで実行可能。
2026-11-09
LoRAスタックのマージと条件付け(Conditioning)の長さ不一致による出力スキップ問題
LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]
出典:Reddit r/MachineLearning(ML Research Community)
- LoRAを用いたマルチアダプタ(PTとSFT)の統合モデルにおいて、入力キャプションが短い場合に最初の行が出力されない現象の分析。
- アダプタのマージ(bf16)および学習時と推論時での条件付けテキストの長さの乖離が、アテンションの崩壊やトークン位置の不整合を招く可能性を指摘。
- 構造化データ(LEGOの組み立て手順等)を生成するSFTにおいて、入力の長さ分布を考慮したデータ拡張や精度維持のためのマージ手法の検討が必要。
2026-11-08
LoRAにおけるスペクトル・サブスペースダイナミクス解析:SFTとRLの共通基盤と最適化戦略
Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
出典:arXiv 2026: Tabular & Time-Series ML(Authors: Chenruo Liu, Zihan Wang, Yijun Dong et al. | 2026-11-05)
- 本研究は、教師あり微調整(SFT)と強化学習(RL)において共通して用いられるLoRA (Low-rank Adaptation) の最適化ダイナミクスを解析した。
- グループ平均ベースライン減算が、SFTとRLにおける異なる最適化ダイナミクスを駆動する共通の要因であり、スペクトル集中とサブスペース回転を促進する。
- 数学的な推論タスクにおいて、SFTとRLに特化した設定が、他の手法よりも優れたパフォーマンスを示すことが実験的に確認された。
条件に合う収蔵記事が見つかりませんでした。別のキーワードをお試しください。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。