トップ › 知識庫 › タグ「VLM」
KNOWLEDGE VAULT — TAG
タグ「VLM」
収蔵 14件
2026-11-19
GameRealm:ゲーム環境を基盤としたマルチモーダル・視覚知能の超大規模データセット GameRealm: Grounding Visual Learning in Interactive Games
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.23140)
ゲーム内の視覚情報を、同期された操作入力・3D軌跡・深度等のマルチモーダルな教師データと紐付けた大規模データセット「GameRealm」の提案。 断片的なデータや不均一なアノテーションの課題を、人間とエージェントを組み合わせた統一データ収集パイプラインと、1億超のRGBフレームによる網羅性で解決。 視覚生成(Generation)および幾何学的学習(Geometric Learning)の両面において、視覚基盤モデルの性能を安定的に強化する。 2026-11-19
マルチモーダル・マスク拡散自己符号化器(ID-MAE)による運転者の認知状態推論 Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving
出典:arXiv cs.LG (Machine Learning) (Authors: John Gideon, Anshul Gupta, Megan Applegate-Kenton et al. | 2026-11-17)
運転者の認知状態(注意散漫、ストレス等)を、視線・軌道・映像のマルチモーダルデータから推論する自己教師あり学習モデル。 マスク拡散オートエンコーダ(ID-MAE)を導入し、ラベル予測と同時に視線・軌道の再構成を学習させることで、精度を大幅に向上。 大規模な運転シミュレータデータ(DIVERT)において、視覚的・認知的要因の分離や軌道予測など多角的なタスクで高い汎用性を発揮。 2026-11-19
LogT:論理的思考を組み込んだ自動データ生成による、高効率な視覚検索・ツール利用の最適化 LogT: Logically Think with Images for Visual Search
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.19200)
視覚言語モデル(VLM)にZoom-inツールを用いた微細な視覚検索と論理的推論を統合する「LogT」を提案。 複雑な強化学習(RL)に頼らず、論理鎖(Logic-chain)を強制した高品質なSFTデータ生成により、RL手法を凌駕する精度を達成。 極めて少ないデータ量と計算リソース(GPU時間)で、複雑な視覚的問いに対する正確かつ効率的なツール操作を実現。 2026-11-19
基盤モデルへの「不確実性」の明示による推論精度の大幅な向上 Tell Me How Sure You Are: Communicating Uncertainty in Auxiliary Evidence to Foundation Models
出典:arXiv cs.LG (Machine Learning) (Authors: Soumyajit Chatterjee, Baturalp Buyukates, Abhirup Ghosh | 2026-11-18)
LLM/VLMへの補助情報(Context)を注入する際、その情報の「不確実性」を併せて伝える手法の有効性を実証。 不確実性を伝達することで、従来のプロンプト手法と比較してMacro-F1スコアを最大26.18ポイント改善。 人間による主観的な不確実性および学習モデルによる予測不確実性の両方が、下流の意思決定を正しく導く。 2026-11-17
VLMにおける視覚的推論の「計画性」の解明:Binding・Progress・Select・Gazeの4段階メカニズム How VLMs Plan What's Next
出典:arXiv cs.LG (Machine Learning) (Authors: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki et al. | 2026-11-16)
VLMが画像内のオブジェクトを記述する際の「次をどこを見るか」という計画プロセスを4つの内部機構として特定。 単なる逐次的な処理ではなく、進捗信号(Cursor)と未記述領域の選択という動的な計画メカニズムを解明。 マルチステップの複雑なタスクや、長大な推論(Long Rollouts)を要する視覚的QAにおいて、モデルの挙動予測に威力を発揮。 2026-11-17
SALA:言語的意味を介した潜在行動空間の共有による、人間・ロボット動画の双方向スケーリング SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
出典:Hugging Face Daily Papers (Upvotes: 9 | arXiv:2611.17110)
人間とロボットの動画を共通の「潜在行動空間(Latent Action Space)」で統合するSALAフレームワークの提案。 従来の動画再構成のみに依存する手法に対し、言語記述を用いた「意味的対応」を導入することで、視覚的差異を克服し行動の共通性を抽出。 人間動画による大規模な事前学習と、タスク特化の人間動画による事後学習の両面で、ロボットの行動精度と成功率を向上させる。 2026-11-17
希少言語「Even」への対応:トークナイザー拡張とLoRAを用いたマルチモーダル学習の最適化 EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.16500)
絶滅の危機にある北東ツングス系言語「Even」における初のテキスト・マルチモーダル(VQA)データセット「EvenVLM」の構築。 膠着語特有の形態素解析を最適化するため、独自の3段階トークナイザー拡張アルゴリズムを導入し、平均トークン数を27%削減。 低リソース言語において、LoRAを用いた効率的なパラメータ更新と、視覚情報の統合によるVQAタスクの劇的な精度向上(0%→65%)を実証。 2026-11-17
Qwen3-ASRを基盤としたマルチタスク音声解析システム「Marimba」:単一エンコーダによる高精度な推論 Marimba: A System One Model for Speech. [R]
出典:Reddit r/MachineLearning (ML Research Community)
Qwen3-ASR-0.6Bの凍結されたエンコーダを共通基盤とし、音声の特定(用語、言語、話者、ターン終端)を統合的に処理するシステム。 専用モデルを個別に構築せず、Platt校正や特定層のReadoutを用いることで、Qwen3-Omni(30B規模)に匹敵する精度を軽量なモデルで実現。 特に話者識別(Speaker Change)や言語識別において極めて高い性能を発揮し、計算リソースを抑えつつ多機能な音声解析を可能にする。 2026-11-17
WebArena-Pro:マルチモーダル・動的ワークフローに対応した次世代Webエージェント評価基盤 WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
出典:Hugging Face Daily Papers (Upvotes: 8 | arXiv:2611.17955)
LLM/VLMを用いたWebエージェントの能力を評価する、マルチモーダル対応の再現可能なベンチマーク「WebArena-Pro」の提案。 既存のベンチマークが抱える「網羅性の不足」「再現性の欠如」「音声・動画の無視」という3大課題を、自社ホスト型アプリとマルチモーダル統合により解決。 多様なUI慣習、状態保持(Stateful)ワークフロー、および音声・動画を含む複雑なWebタスクの自動化において高い評価能力を発揮。 2026-11-16
マルチモーダルLLMの推論高速化:視覚依存度を適応的に制御する推論加速フレームワーク「MMFlash」 MMFlash: Faster Speculative Decoding for Vision-Language Models
出典:Hugging Face Daily Papers (Upvotes: 26 | arXiv:2611.18482)
Vision-Language Model(VLM)における推論を高速化する、投機的デコーディング(Speculative Decoding)のマルチモーダル拡張手法の提案。 視覚情報の依存度が高いトークンを特定し、ドラフターの予測精度を適応的に補強することで、既存手法(DFlash等)を大幅に上回る加速を実現。 特に長尺のビデオ入力など、視覚情報とテキストの密接な連動が必要なマルチモーダルタスクにおいて、精度を維持したまま最大3.58倍の高速化を達成。 2026-11-16
マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性 [Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
出典:Reddit r/MachineLearning (ML Research Community)
マルチモーダルモデルにおけるVision Encoderの構成要素(事前学習、専用パラメータ、配置場所)を分離して検証した研究。 Vision Encoderの「事前学習」は任意(不要)だが、「Vision専用のパラメータ」は性能維持に不可欠であることを実証。 リソース制約下で効率的なマルチモーダルモデルを構築する際、Encoderを最初から学習させるよりも、LLMにVision専用の重みを統合する方が効率的。 2026-11-16
MDLMのハルシネーションを抑制する「エントロピー・スパイク」検知と動的デコード戦略 Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.12901)
マルチモーダル拡散言語モデル(MDLM)における、特定のデノイジング工程で発生するハルシネーション(幻覚)の特定と抑制に関する研究。 離散トークンの確定による情報損失を防ぐため、エントロピー急増(スパイク)を検知した際に「潜在空間での連続的な洗練」へ動的に切り替えるStepRefineを提案。 MDLMを用いたマルチモーダルな推論タスクにおいて、生成の信頼性と正確性を大幅に向上させる。 2026-11-15
Latent空間を脱却:PixVidによるピクセル空間への直接的なビデオ拡散モデルの昇華 Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.17336)
VAEの潜在空間(Latent Space)を介さず、ピクセル空間で直接ビデオを生成する「PixVid」の提案。 高解像度化に伴うトークン数の爆発や、複数フレームの依存による反応遅延を解消し、フレーム単位の制御性を向上。 Wan2.1-14Bをベースとした微調整により、高速な動きにおける深度条件の整合性や、アクションへの即時反応を維持。 2026-11-09
軽量なVision EncoderとLSTMゲートを統合したローカルVLAモデルの構築 Locally trained VLA model with minimal attention based vision encoder. [p]
出典:Reddit r/MachineLearning (ML Research Community)
最小限のAttentionベースVision EncoderとLSTMゲートを組み合わせたVLA(Vision-Language-Action)エージェントの進捗報告。 巨大なモデルを避け、約25Mのパラメータ(うち約13Mをデコーダに割当)で構成することで、ローカル環境での効率的な学習を実現。 多様なテキストデータ(Wiki、論文等)を統合した広範な知識ベースを、比較的小規模なモデルに注入する試み。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。