トップ › 知識庫 › タグ「マルチモーダル生成」
KNOWLEDGE VAULT — TAG
タグ「マルチモーダル生成」
収蔵 18件
2026-11-19
GameRealm:ゲーム環境を基盤としたマルチモーダル・視覚知能の超大規模データセット GameRealm: Grounding Visual Learning in Interactive Games
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.23140)
ゲーム内の視覚情報を、同期された操作入力・3D軌跡・深度等のマルチモーダルな教師データと紐付けた大規模データセット「GameRealm」の提案。 断片的なデータや不均一なアノテーションの課題を、人間とエージェントを組み合わせた統一データ収集パイプラインと、1億超のRGBフレームによる網羅性で解決。 視覚生成(Generation)および幾何学的学習(Geometric Learning)の両面において、視覚基盤モデルの性能を安定的に強化する。 2026-11-19
マルチモーダル・マスク拡散自己符号化器(ID-MAE)による運転者の認知状態推論 Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving
出典:arXiv cs.LG (Machine Learning) (Authors: John Gideon, Anshul Gupta, Megan Applegate-Kenton et al. | 2026-11-17)
運転者の認知状態(注意散漫、ストレス等)を、視線・軌道・映像のマルチモーダルデータから推論する自己教師あり学習モデル。 マスク拡散オートエンコーダ(ID-MAE)を導入し、ラベル予測と同時に視線・軌道の再構成を学習させることで、精度を大幅に向上。 大規模な運転シミュレータデータ(DIVERT)において、視覚的・認知的要因の分離や軌道予測など多角的なタスクで高い汎用性を発揮。 2026-11-19
可変長・マルチモーダル生成を可能にする「Variable Length Diffuse Everything (VL-DE)」フレームワーク Variable Length Diffuse Everything: Arbitrary Length Generative Modeling on Arbitrary State Spaces
出典:arXiv stat.ML (Statistical ML) (Authors: Kevin Rojas, Felix X. -F. Ye, Molei Tao | 2026-11-18)
任意の状態空間における可変長マルチモーダルデータの生成を可能にする「VL-DE」フレームワークの提案。 パディングや特殊な長さ予測の導入を排除し、理論に基づいた「挿入(Insertion)メカニズム」で可変長を扱う。 レイアウト生成(座標+属性)や分子構造生成など、連続値と離散値が混在する可変長データに極めて強力。 2026-11-18
手操作による動的ビデオ生成:LynnReal-Handによる高精度な手と物体の相互作用の統合 LynnReal-Hand: Unlocking World Interaction with Hand Control
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.21479)
手(Hand)の動きを直接入力として受け取り、ビデオ内の物体と動的な相互作用を生成するビデオ世界モデルの提案。 手と物体の複雑な動態を捉えるための「手認識型監督(Hand-aware supervision)」と「領域認識スコア蒸留(Region-aware score distillation)」を導入し、微細な動きと視覚的整合性を両立。 10万件の相互作用クリップを用いた学習により、リアルタイム性を維持しつつ、高精度な手追従性と視覚品質を両立したビデオ生成を実現。 2026-11-18
次世代LLM「GPT-6.2 Astra & Sol」の発表とマルチモーダル推論の進化 GPT‑6.2 Astra and Sol
出典:Hacker News (Top Stories) (HN Score: 906 pts by jasondavies)
OpenAIによる次世代モデル「GPT-6.2 Astra」および「Sol」の導入に関する発表。 従来の推論能力を凌駕する、より高度なマルチモーダル統合と推論の安定性を実現。 複雑な論理推論、高度なコーディング、およびマルチモー制約下の意思決定問題で圧倒的な性能を発揮。 2026-11-17
VLMにおける視覚的推論の「計画性」の解明:Binding・Progress・Select・Gazeの4段階メカニズム How VLMs Plan What's Next
出典:arXiv cs.LG (Machine Learning) (Authors: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki et al. | 2026-11-16)
VLMが画像内のオブジェクトを記述する際の「次をどこを見るか」という計画プロセスを4つの内部機構として特定。 単なる逐次的な処理ではなく、進捗信号(Cursor)と未記述領域の選択という動的な計画メカニズムを解明。 マルチステップの複雑なタスクや、長大な推論(Long Rollouts)を要する視覚的QAにおいて、モデルの挙動予測に威力を発揮。 2026-11-17
SALA:言語的意味を介した潜在行動空間の共有による、人間・ロボット動画の双方向スケーリング SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
出典:Hugging Face Daily Papers (Upvotes: 9 | arXiv:2611.17110)
人間とロボットの動画を共通の「潜在行動空間(Latent Action Space)」で統合するSALAフレームワークの提案。 従来の動画再構成のみに依存する手法に対し、言語記述を用いた「意味的対応」を導入することで、視覚的差異を克服し行動の共通性を抽出。 人間動画による大規模な事前学習と、タスク特化の人間動画による事後学習の両面で、ロボットの行動精度と成功率を向上させる。 2026-11-17
eDMD:最終出力分布への集中による拡散モデル蒸留の精度極大化 eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.17194)
拡散モデルを少ステップの生徒モデルへ蒸留する「分布一致蒸留(DMD)」の改良手法eDMDの提案。 中間状態ではなく「最終出力(Endpoint)」のみを基準に学習することで、中間分布によるノイズを排除し、正確な一致を保証。 SD3やFLUX.2といった最新の高品質画像生成モデルにおいて、4ステップ生成時の精度を劇的に向上させる。 2026-11-17
希少言語「Even」への対応:トークナイザー拡張とLoRAを用いたマルチモーダル学習の最適化 EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.16500)
絶滅の危機にある北東ツングス系言語「Even」における初のテキスト・マルチモーダル(VQA)データセット「EvenVLM」の構築。 膠着語特有の形態素解析を最適化するため、独自の3段階トークナイザー拡張アルゴリズムを導入し、平均トークン数を27%削減。 低リソース言語において、LoRAを用いた効率的なパラメータ更新と、視覚情報の統合によるVQAタスクの劇的な精度向上(0%→65%)を実証。 2026-11-17
気象予報士の「熟練の知見(テキスト)」をマルチモーダル学習で統合し、台風の強度予測精度を向上させる手法 Quantifying the added value of human forecaster discussions for tropical cyclone intensity prediction
出典:arXiv cs.LG (Machine Learning) (Authors: Ilia Azizi, Frederick Iat-Hin Tam, Marc-Olivier Boldi et al. | 2026-11-16)
気象予報士による「台風の議論(Discussion)」という非構造化テキストが、数値データ(SHIPS等)に付加価値を与えるかを検証。 テキスト情報を深層学習でエンコードし、既存の数値予測モデルとアンサンブルすることで、24時間後の最大風速のMAEを約10%改善。 特に「intensify(強まる)」「eyewall(眼の壁)」といった専門用語を含むテキスト情報が、人間の判断を反映する重要な特徴量として機能する。 2026-11-17
汎用生成モデルによる3D幾何学の制覇:Iris-Zによる「特化型モデル」の超越 Iris-Z: Scaling One Generative Model Past Specialist Geometry Models
出典:Hugging Face Daily Papers (Upvotes: 2 | arXiv:2611.16010)
単一の生成バックボーンで画像生成と深度推定(幾何学理解)を同時に行う「Iris-Z」の発表。 タスク特化型アーキテクチャを排除し、スケーリング則に基づいた汎用モデルでSOTAを上回る。 単眼深度推定、画像生成、深度に基づく画像再構成など、空間理解を伴う視覚タスクで威力を発揮。 2026-11-17
Qwen3-ASRを基盤としたマルチタスク音声解析システム「Marimba」:単一エンコーダによる高精度な推論 Marimba: A System One Model for Speech. [R]
出典:Reddit r/MachineLearning (ML Research Community)
Qwen3-ASR-0.6Bの凍結されたエンコーダを共通基盤とし、音声の特定(用語、言語、話者、ターン終端)を統合的に処理するシステム。 専用モデルを個別に構築せず、Platt校正や特定層のReadoutを用いることで、Qwen3-Omni(30B規模)に匹敵する精度を軽量なモデルで実現。 特に話者識別(Speaker Change)や言語識別において極めて高い性能を発揮し、計算リソースを抑えつつ多機能な音声解析を可能にする。 2026-11-17
WebArena-Pro:マルチモーダル・動的ワークフローに対応した次世代Webエージェント評価基盤 WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
出典:Hugging Face Daily Papers (Upvotes: 8 | arXiv:2611.17955)
LLM/VLMを用いたWebエージェントの能力を評価する、マルチモーダル対応の再現可能なベンチマーク「WebArena-Pro」の提案。 既存のベンチマークが抱える「網羅性の不足」「再現性の欠如」「音声・動画の無視」という3大課題を、自社ホスト型アプリとマルチモーダル統合により解決。 多様なUI慣習、状態保持(Stateful)ワークフロー、および音声・動画を含む複雑なWebタスクの自動化において高い評価能力を発揮。 2026-11-16
マルチモーダルLLMの推論高速化:視覚依存度を適応的に制御する推論加速フレームワーク「MMFlash」 MMFlash: Faster Speculative Decoding for Vision-Language Models
出典:Hugging Face Daily Papers (Upvotes: 26 | arXiv:2611.18482)
Vision-Language Model(VLM)における推論を高速化する、投機的デコーディング(Speculative Decoding)のマルチモーダル拡張手法の提案。 視覚情報の依存度が高いトークンを特定し、ドラフターの予測精度を適応的に補強することで、既存手法(DFlash等)を大幅に上回る加速を実現。 特に長尺のビデオ入力など、視覚情報とテキストの密接な連動が必要なマルチモーダルタスクにおいて、精度を維持したまま最大3.58倍の高速化を達成。 2026-11-16
マルチモーダル学習におけるVision Encoderの「必須要素」を解体:事前学習の不要性とVision専用パラメータの重要性 [Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
出典:Reddit r/MachineLearning (ML Research Community)
マルチモーダルモデルにおけるVision Encoderの構成要素(事前学習、専用パラメータ、配置場所)を分離して検証した研究。 Vision Encoderの「事前学習」は任意(不要)だが、「Vision専用のパラメータ」は性能維持に不可欠であることを実証。 リソース制約下で効率的なマルチモーダルモデルを構築する際、Encoderを最初から学習させるよりも、LLMにVision専用の重みを統合する方が効率的。 2026-11-16
MDLMのハルシネーションを抑制する「エントロピー・スパイク」検知と動的デコード戦略 Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
出典:Hugging Face Daily Papers (Upvotes: 1 | arXiv:2611.12901)
マルチモーダル拡散言語モデル(MDLM)における、特定のデノイジング工程で発生するハルシネーション(幻覚)の特定と抑制に関する研究。 離散トークンの確定による情報損失を防ぐため、エントロピー急増(スパイク)を検知した際に「潜在空間での連続的な洗練」へ動的に切り替えるStepRefineを提案。 MDLMを用いたマルチモーダルな推論タスクにおいて、生成の信頼性と正確性を大幅に向上させる。 2026-11-15
Latent空間を脱却:PixVidによるピクセル空間への直接的なビデオ拡散モデルの昇華 Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
出典:Hugging Face Daily Papers (Upvotes: 3 | arXiv:2611.17336)
VAEの潜在空間(Latent Space)を介さず、ピクセル空間で直接ビデオを生成する「PixVid」の提案。 高解像度化に伴うトークン数の爆発や、複数フレームの依存による反応遅延を解消し、フレーム単位の制御性を向上。 Wan2.1-14Bをベースとした微調整により、高速な動きにおける深度条件の整合性や、アクションへの即時反応を維持。 2026-11-08
拡散モデルの高速化と性能向上を実現するStepX-OPD:マルチティーチャーステップ蒸留の再考 StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models
出典:Hugging Face Daily Papers (Upvotes: 4 | arXiv:2611.04386)
本論文は、拡散モデルの高速化と性能向上を両立させるStepX-OPDという新しい手法を提案しています。 従来のマルチティーチャーステップ蒸留では、能力統合とステップ蒸留が段階的に行われていましたが、StepX-OPDはこれらを統合し、学生モデルが能力獲得と高速サンプリングを同時に学習します。 SD3.5-MediumおよびFLUX.1-devデータセットで評価され、既存手法を上回る性能と、訓練時間の短縮を実現しました。
このページの要約は、収集パイプラインが自動生成した digest(要約)です。内容の正確なところは、必ず各項目の出典リンク先の原文で確認してください。出典の本文そのものは掲載していません。ジャンル分けも自動分類のため、周辺の話題が混ざることがあります。