トップ › 知識庫 › タグ「ファインチューニング」
KNOWLEDGE VAULT — TAG
タグ「ファインチューニング」
収蔵 31件
2026-11-19
「Attention at Absolute Zero」:ソフトアテンションの限界を打破する「零度(Zero Temperature)」の高次推論層 Attention at Absolute Zero
出典:Hugging Face Daily Papers (Upvotes: 2 | arXiv:2611.11937)
ソフトアテンションの「重みの分散」「スコアの隙間」「状態のドリフト」という構造的欠陥を、零度(Zero Temperature)での高次アテンション層で解決する手法。 従来のソフトアテンションが大規模データで精度を落とすのに対し、本手法は「証人(Witnesses)」の比較ビットを用いることで、極めて高い正確性とスケーラビリティを両立。 論理推論(2-SAT、彩色問題)、家族関係の連鎖、CLUTRR等の複雑な関係性抽出において、既存のSOTAや凍結された7Bモデルを凌駕する性能を発揮。 2026-11-19
シミュレータの「不正確な自信」を暴く:Sim-to-Realにおける過信とバックボーン適応の非対称性 Unreasonable Confidence from Simulator Misspecification: Directional Robustness on the SPEED+ Sim-to-Real Benchmark
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.20321)
シミュレータの放射計的誤差(鏡面反射や飽和の欠如)が、モデルに「誤った自信(Overconfidence)」を与える現象を特定。 単純なデータ拡張よりも、バックボーンの最終ステージを適応させる方が、Sim-to-Realのギャップを埋める上で圧倒的に効果的。 特定の照明条件(拡散光 vs 直射光)に対し、データ拡張の効果が「モデルが学習した方向」にのみ偏るという非対称性を解明。 2026-11-19
Ambient SFT:温度調整による「事前学習の知識」を維持した高効率な微調整手法 Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
出典:arXiv cs.LG (Machine Learning) (Authors: Giannis Daras, Marios Papachristou, Adam Klivans et al. | 2026-11-17)
少量の高品質データで微調整を行う際に発生する「過学習」と「分布の裾(Tail)の忘却」を抑制するAmbient SFTの提案。 事前学習モデルを「ノイズの多い教師」と見なし、高温度(High-temperature)の確率分布を一致させることで、知識の崩壊を防ぐ。 ドメイン適応、指示学習(Instruction-tuning)、推論タスクにおいて、標準的なSFTを最大21%改善する。 2026-11-19
LogT:論理的思考を組み込んだ自動データ生成による、高効率な視覚検索・ツール利用の最適化 LogT: Logically Think with Images for Visual Search
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.19200)
視覚言語モデル(VLM)にZoom-inツールを用いた微細な視覚検索と論理的推論を統合する「LogT」を提案。 複雑な強化学習(RL)に頼らず、論理鎖(Logic-chain)を強制した高品質なSFTデータ生成により、RL手法を凌駕する精度を達成。 極めて少ないデータ量と計算リソース(GPU時間)で、複雑な視覚的問いに対する正確かつ効率的なツール操作を実現。 2026-11-19
ブラックボックス生成モデルに対応する「歪みゼロ」のセマンティック・ウォーターマーク技術 Distortion-Free Semantic Watermarks for Black-Box Generative Models
出典:arXiv cs.LG (Machine Learning) (Authors: Aviv Yossef, Or Patashnik, Or Zamir | 2026-11-17)
生成AIの出力品質を一切損なわず(Distortion-free)、セマンティックな特徴量に基づく電子透かしを付与するアルゴリズムの提案。 モデルの内部構造(ホワイトボックス)を必要とせず、サンプリングとセマンティック埋め込みへのアクセスのみで動作する汎用性を実現。 圧縮やクロッピング等のコンテンツを維持する変換に対して堅牢であり、オープンソースおよびクローズドモデルの両方で有効。 2026-11-18
法的推論の核心を突く:検索と長文生成を統合したドイツ公法試験ベンチマーク「GPBam」の構築 GPBam: A Retrieval-Aware German Public Law Exam Benchmark
出典:Hugging Face Daily Papers (Upvotes: 0 | arXiv:2611.18981)
ドイツ公法試験(Gutachten)を模した、法的根拠の特定と論理構築を統合評価する新ベンチマーク「GPBam」の提案。 単なる知識の暗記ではなく、法規範の「検索(Retrieval)」と「長文生成(Long-form Generation)」の相関を定量化。 法務AIにおいて、検索精度の向上が最終的な論理構築のスコアにどの程度寄与するかを評価する際に極めて有効。 2026-11-18
レガシーコードの進化と構造解析:VisualBasic.Worldによるソースコードの歴史的変遷 VisualBasic.World: A gallery of Planet Source Code programs from 1997 to 2012
出典:Hacker News (Top Stories) (HN Score: 153 pts by broast)
1997年から2012年までのVisual Basicソースコードを網羅した歴史的ギャラリーの紹介。 単一のアルゴリズム改善ではなく、ソフトウェア設計の進化やコード構造の変遷を俯瞰できる。 コード生成AIの学習データ選定や、レガシーシステムの構造解析・リファクタリングの文脈で有用。 2026-11-18
多言語対応の意思決定モデル「Zuse」:凍結ベースとポインターヘッドによる高精度な分類と較正の分析 Zuse: A Decision Model for European Languages
出典:Hugging Face Daily Papers (Upvotes: 0 | arXiv:2611.06238)
生成ではなく固定選択肢の確率を出力する「意思決定モデル(Decision Model)」の多言語展開と評価。 凍結されたオープンウェイトモデルに低ランクアダプタとポインターヘッドを付与し、27の欧州言語で高精度な推論を実現。 タスク特有の過信・過小評価の構造を特定し、単純な温度調整では不十分な「タスク依存の較正」の課題を浮き彫りにした。 2026-11-17
「Lattice of Latents」:計算状態の水平拡張による次世代の推論能力強化 Latent Lattice Language Models
出典:arXiv cs.LG (Machine Learning) (Authors: Shivam Duggal, Zongze Wu, William T. Freeman et al. | 2026-11-16)
深層構造や再帰的推論の深化ではなく、モデルが維持する「アクティブな計算状態(Latent Lattice)」の数を増やすことで計算能力を拡張する手法。 従来のTransformerやSSM(Mamba等)の残差ストリームに対し、時間軸に沿って持続する水平な潜在ストリームを付加することで、KVキャッシュやMLPの計算を直接条件付ける。 FineWeb-Edu等の大規模データを用いた学習において、パラメータ数を維持したままPerplexityを大幅に改善し、特にハイブリッド構造(Mamba-2等)との相乗効果が高い。 2026-11-17
希少言語「Even」への対応:トークナイザー拡張とLoRAを用いたマルチモーダル学習の最適化 EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.16500)
絶滅の危機にある北東ツングス系言語「Even」における初のテキスト・マルチモーダル(VQA)データセット「EvenVLM」の構築。 膠着語特有の形態素解析を最適化するため、独自の3段階トークナイザー拡張アルゴリズムを導入し、平均トークン数を27%削減。 低リソース言語において、LoRAを用いた効率的なパラメータ更新と、視覚情報の統合によるVQAタスクの劇的な精度向上(0%→65%)を実証。 2026-11-17
AISTATS 2027 採択論文の査読結果に関するコミュニティ議論 AISTATS 2027 paper discussion [D]
出典:Reddit r/MachineLearning (ML Research Community)
AISTATS 2027に投稿された論文の査読結果(Reviews)の公開に伴う議論。 特定の技術革新ではなく、最新の査読傾向やコミュニティの反応を収集するフェーズ。 特定のアルゴリズムへの適用ではなく、最新のSOTA研究動向を把握するための情報収集として機能する。 2026-11-17
Baggingを用いたCoT学習の理論的最適化:推論長に依存しないサンプル複雑度の達成 Optimal Autoregressive Chain-of-Thought Learning via Bagging
出典:arXiv cs.LG (Machine Learning) (Authors: Awni Altabaa, John Lafferty, Omar Montasser | 2026-11-16)
Bagging(ブートストラップ・アンサンブル)を用いて、Chain-of-Thought(CoT)の推論過程と一貫性のある次トークン生成モデルを学習する手法の提案。 従来のCoT学習では推論長 $T$ に依存するサンプル複雑度が生じるが、本手法はVC次元に基づく最適なサンプル複雑度 $O((d_{\mathrm{VC}}+\log(1/δ))/ε)$ を達成。 CoTの長さが非常に長い複雑な推論タスクにおいて、データ効率を維持したまま高精度な推論モデルを構築する際に極めて強力。 2026-11-16
NVIDIAの動向とAIエコノミーの相関性:ハードウェア依存の構造的リスク Is bad news for Jensen Huang also bad news for the AI industry?
出典:TechCrunch AI (AI Industry)
NVIDIAの経営状況とAI業界全体の経済的健全性の強い相関性に関する考察。 単一企業(ハードウェア供給源)への過度な依存が、AIエコシステムのボトルネックとなるリスクを提示。 AIインフラのコスト予測、GPUリソースの供給動向、および市場のセンチメント分析において重要。 2026-11-16
自律型AIエージェントの自己更新における「証拠に基づく採用」フレームワーク(EGE) Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents
出典:Hugging Face Daily Papers (Upvotes: 9 | arXiv:2611.16378)
自律型エージェントが自身のプロンプトやツールを自己更新する際の、安全かつ確実な採用を制御する「Evidence-Governed Evolution (EGE)」の提案。 「候補生成」と「採用判断」を分離し、Hoeffdingの不等式を用いた統計的下限の構築と、参照基準に対する非劣性テストを導入することで、局所的な改善による全体的な劣化を防ぐ。 エージェントが動的に自己進化を繰り返す環境において、評価器の不完全性を考慮しつつ、累積的な性能劣化を抑えながら安定した更新を行う際に威力を発揮する。 2026-11-16
直交ヌル空間投影によるLLMの「忘却」と「汎用性能」の分離:軽量アダプタを用いた知識削除技術 Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection
出典:arXiv cs.LG (Machine Learning) (Authors: Xiuyuan Wang, Weiming Liu, Zongxin Yang et al. | 2026-11-13)
LLMから特定の有害・機密情報を削除しつつ、汎用的な能力を維持する「UUE」フレームワークの提案。 直交ヌル空間への投影と凸最適化による反極点(Antipodal points)へのマッピングにより、既存手法の課題である「性能劣化」を克服。 TOFUやWMDPといったベンチマークにおいて、凍結されたバックボーンを維持したまま軽量アダプタ(UUE-L)で高精度な忘却を実現。 2026-11-16
マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性 [Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
出典:Reddit r/MachineLearning (ML Research Community)
マルチモーダルモデルにおけるVision Encoderの構成要素(事前学習、専用パラメータ、配置場所)を分離して検証した研究。 Vision Encoderの「事前学習」は任意(不要)だが、「Vision専用のパラメータ」は性能維持に不可欠であることを実証。 リソース制約下で効率的なマルチモーダルモデルを構築する際、Encoderを最初から学習させるよりも、LLMにVision専用の重みを統合する方が効率的。 2026-11-16
MoEにおける「局所的な誤差改善」と「最終出力の精度」の乖離:多段階推論におけるエキスパート共有の理論的境界 From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning
出典:arXiv cs.LG (Machine Learning) (Authors: Tiantong Wang, Zhiren Gong, Yixin Wang et al. | 2026-11-13)
MoEモデルにおける「層間・ステップ間でのエキスパート共有」が、最終的な推論精度に与える影響を数理的に解明。 局所的な予測誤差(Local Prediction Error)を減らしても、多段階の推論過程(Composition)を経て最終出力の誤差が増大する「リスクの逆転」現象を特定。 低データ環境のTransformerにおいて、教師あり学習(Teacher-forced)では改善が見られても、自由推論(Free-running)では改善が見られない現象を実証。 2026-11-15
LLMアーキテクチャの「試行錯誤」を資産化する:スケーリング則を用いた検証プラットフォームArchSpace ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
出典:arXiv cs.LG (Machine Learning) (Authors: Jie Wang, Tong Zhu, JiaHao Kuang et al. | 2026-11-12)
LLMのアーキテクチャ設計における「成功例・失敗例・その理由」を記録・レビュー・参照するための公開プラットフォームArchSpaceの提案。 小規模な実験結果からスケーリング則を用いて大規模モデルでの挙動を予測することで、高コストな大規模学習の前にアーキテクチャの有効性を評価可能にする。 DeepSeekやQwenのような最新モデルの構造設計や、計算リソースの制約下での効率的なアーキテクチャ選定において極めて強力な武器となる。 2026-11-14
LoRAと合成データを用いたTransformerによる連続血糖値(CGM)予測モデルの構築 I have trained a model to predict my blood sugar [P]
出典:Reddit r/MachineLearning (ML Research Community)
合成データによる事前学習とLoRAを用いた個人データへの適応を組み合わせた、Encoder-only Transformerによる血糖値予測モデルの構築。 大規模な合成データ(19,200 CGM年分)による事前学習と、DILATEリスク空間へのマッピングにより、予測精度と反事実的推論能力を両立。 時系列データ(CGM、インスリン、炭水化物)を入力とし、将来予測、欠損補完、過去へのバックキャストを単一モデルで実行可能。 2026-11-14
Agentic Semi-Supervised Learning (AgentSSL): LLMエージェントによる自己教師あり学習プログラムの自動探索 AgentSSL: Can MLE Agents Leverage Unlabeled Data?
出典:arXiv cs.LG (Machine Learning) (Authors: Ethan Lin, Akanksha Sarkar, Ziang Liu et al. | 2026-11-12)
LLMエージェントを用いて、ラベル付きデータが少ない環境下で「自己教師あり学習(SSL)」のアルゴリズムを自動探索するAgentSSLを提案。 既存の人間による手動設計を凌駕し、8/12の実験設定で最大+21.8%の精度向上を達成。 ラベル付きデータが極めて少なく、未ラベルデータが豊富にある実世界のドメイン(生態系検知等)で特に威力を発揮する。 2026-11-09
軽量なVision EncoderとLSTMゲートを統合したローカルVLAモデルの構築 Locally trained VLA model with minimal attention based vision encoder. [p]
出典:Reddit r/MachineLearning (ML Research Community)
最小限のAttentionベースVision EncoderとLSTMゲートを組み合わせたVLA(Vision-Language-Action)エージェントの進捗報告。 巨大なモデルを避け、約25Mのパラメータ(うち約13Mをデコーダに割当)で構成することで、ローカル環境での効率的な学習を実現。 多様なテキストデータ(Wiki、論文等)を統合した広範な知識ベースを、比較的小規模なモデルに注入する試み。 2026-11-09
重み空間プログラミング(WSP):勾配更新を介さない超高効率なモデル編集と汎化性能の探求 Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.09382)
推論エージェントがニューラルネットワークのパラメータを直接操作・修正する「Weight-Space Programming (WSP)」の能力と限界を評価。 勾配ベースの微調整(Fine-tuning)に対し、わずか1,023個のパラメータ修正でMATH-500等のベンチマークで最大29.45ptの精度向上を達成。 特定のタスク(数学等)の編集が他タスク(GPQA, SciBench等)へ正の転移を起こす一方で、汎化の不均衡や編集の不安定性も確認。 2026-11-09
LoRAスタックのマージと条件付け(Conditioning)の長さ不一致による出力スキップ問題 LoRA-conditioned model skips the first line of its output when the caption is short. Any idea why? [D]
出典:Reddit r/MachineLearning (ML Research Community)
LoRAを用いたマルチアダプタ(PTとSFT)の統合モデルにおいて、入力キャプションが短い場合に最初の行が出力されない現象の分析。 アダプタのマージ(bf16)および学習時と推論時での条件付けテキストの長さの乖離が、アテンションの崩壊やトークン位置の不整合を招く可能性を指摘。 構造化データ(LEGOの組み立て手順等)を生成するSFTにおいて、入力の長さ分布を考慮したデータ拡張や精度維持のためのマージ手法の検討が必要。 2026-11-09
GAP (Gated Attention Projection): AttentionとMLPを統合しパラメータを最大34%削減する新アーキテクチャ I merged attention and MLP processing into a single gated Transformer block. GAP [R]
出典:Reddit r/MachineLearning (ML Research Community)
AttentionとMLPの処理を単一のGated Transformerブロックに統合する「GAP」構造の提案。 標準的なTransformerと比較し、精度を維持しつつパラメータ数を約20%(最大34%)削減可能。 WikiText-103を用いた実験では、パラメータ削減とモデル幅の拡張を両立させることで効率的な学習を実現。 2026-11-08
DOME:生物学における教師あり機械学習の検証のための推奨事項 DOME: Recommendations for supervised machine learning validation in biology
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian (Authors: Ian Walsh, Dmytro Fishman, Dario Garcia-Gasulla et al. | 2020-06-25)
生物学分野における機械学習の信頼性を高めるため、標準的な検証プロトコル(DOME)を提案。 データ、最適化、モデル、評価(Data, Optimization, Model, Evaluation)の4つの側面から構造化された記述を求める。 研究者が実装時に回答すべき一連の質問を定義し、論文の補足資料への記載を推奨することで透明性を確保する。 2026-11-08
オンライン偽ニュース検出における機械学習モデルのベンチマーク研究 A Benchmark Study of Machine Learning Models for Online Fake News Detection
出典:arXiv Core: Causal Inference, Double ML & Graph Laplacian (Authors: Junaed Younus Khan, Md. Tawkat Islam Khondaker, Sadia Afroz et al. | 2019-05-12)
SNS上での偽ニュース拡散による社会的影響を抑制するため、多様なデータセットを用いた機械学習モデルの比較評価を実施。 従来の機械学習、ディープラーニング、および最新の事前学習済み言語モデル(PLM)を網羅的にベンチマーク。 特にデータセットが極めて小さい条件下において、BERT等の事前学習済みモデルが最も優れた検出性能を示すことを特定。 2026-11-08
量子化誤差の補償:相互補完のための階層的重み構造の導入 Compensate Quantization Errors: Make Weights Hierarchical to Compensate Each Other
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute (Authors: Yifei Gao, Jie Ou, Lei Wang et al. | 2024-06-24)
LLMの量子化に伴う精度低下を解決するため、既存の「他方の重みによる誤差補償」と「難易度の転移」という2つのアプローチを統合。 Learnable Singular Value Increment (LSI) を提案し、特異値分解(SVD)を用いて抽出した特異値を学習可能にすることで、活性化条件に応じた重み間の相互補完を実現。 LSIを既存の量子化技術と組み合わせることで、多様な量子化設定においてSOTA(最先端)の性能を達成。 2026-11-08
LoRAにおけるスペクトル・サブスペースダイナミクス解析:SFTとRLの共通基盤と最適化戦略 Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
出典:arXiv 2026: Tabular & Time-Series ML (Authors: Chenruo Liu, Zihan Wang, Yijun Dong et al. | 2026-11-05)
本研究は、教師あり微調整(SFT)と強化学習(RL)において共通して用いられるLoRA (Low-rank Adaptation) の最適化ダイナミクスを解析した。 グループ平均ベースライン減算が、SFTとRLにおける異なる最適化ダイナミクスを駆動する共通の要因であり、スペクトル集中とサブスペース回転を促進する。 数学的な推論タスクにおいて、SFTとRLに特化した設定が、他の手法よりも優れたパフォーマンスを示すことが実験的に確認された。 2026-11-08
量子化を考慮した学習(QAT)におけるスケーリング則 Scaling Law for Quantization-Aware Training
出典:arXiv Core: LLM Quantization, Distillation & Test-Time Compute (Authors: Mengzhao Chen, Chaoyi Zhang, Jing Liu et al. | 2025-05-20)
LLMのデプロイ課題を解決する量子化を考慮した学習(QAT)において、モデルサイズ、学習データ量、量子化粒度の影響を統合したスケーリング則を提案。 268の実験を通じて、量子化誤差はモデルサイズに比例して減少するが、学習トークン数や量子化グループサイズの粗さによって増加することを解明。 W4A4(4ビット重み・4ビット活性化)における量子化誤差を重みと活性化のコンポーネントに分解し、それぞれの挙動を特定。 2026-11-08
Microsoft Research AI Frontiers部門の閉鎖と、研究の「実用・商業化」へのシフト The end of Microsoft Research's AI Frontiers group
出典:Hacker News (Top Stories) (HN Score: 417 pts by srean)
Microsoft Researchの最先端研究を担う「AI Frontiers」グループの閉鎖に関するニュース。 基礎研究から、より製品への統合や商業的インパクトを重視する実用的なAI開発へのリソース再配分を意味する。 特定のアルゴリズムの改善ではなく、AI開発における「研究から実装への移行」という戦略的トレンドを反映。 2026-11-08
ニューラルネットワークの重み補間における一時的な精度向上現象(BUMP)とその活用によるアンサンブル手法の提案 BUMP: Brief Unexpected Mid-Interpolation Peak
出典:arXiv stat.ML (Statistical ML) (Authors: Melinda Flóra Kiss, Márton Muntag, Adrián Csiszárik et al. | 2026-11-05)
本研究では、ニューラルネットワークの重み補間時に、補間の端点付近で一時的に精度が向上する現象(BUMP)を初めて体系的に分析し報告しています。 BUMP現象を活用した新しいアンサンブル手法(weight-prediction mixed ensembling)を提案し、従来のlogitアンサンブルよりも高い精度とキャリブレーション性能を実現しました。 この手法は、特に大規模なデータセットや複雑なアーキテクチャを用いたモデルにおいて、その効果を発揮すると考えられます。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。