Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting

📄 arXiv: 2608.11655v1 📥 PDF

作者: Xikai Sun, Kebin Liu, Haotian Wang, Li Liu, Xu Wang, Yunhao Liu

分类: cs.CV, cs.AI

发布日期: 2026-08-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出Motion-as-Prompt以解决多模态大语言模型的运动推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动推理 多模态大语言模型 视觉提示 轨迹引导 视频理解

📋 核心要点

  1. 现有多模态大语言模型在处理视频时，采用稀疏均匀采样，导致关键运动信息的丢失，限制了对物体运动的推理能力。
  2. 本文提出了Motion-as-Prompt（MaP）框架，通过轨迹引导的跨帧视觉提示，恢复密集的运动轨迹并增强运动信息的可见性。
  3. 实验结果显示，MaP在运动推理准确性上有显著提升，且不影响非运动理解，展现了其在多模态推理中的有效性。

📝 摘要（中文）

运动中心的视频推理对于机器人操作和自主导航等交互应用至关重要。然而，多模态大语言模型（MLLMs）通常通过稀疏均匀采样来处理视频，这种策略可能会丢失关键的帧间过渡，限制了对物体运动、碰撞和因果交互的推理。为了解决这一问题，本文提出了Motion-as-Prompt（MaP），一种基于轨迹引导的跨帧视觉提示框架。MaP恢复了密集的点轨迹，选择运动信息丰富的帧，并将连续采样帧之间累积的轨迹直接标记到视觉输入上，使得原本隐藏的位移、方向变化和交互对冻结的MLLMs可见。实验结果表明，MaP在CLEVRER和Something-Something-v2数据集上显著提高了运动推理的准确性，分别提升了4.2%和8.9%。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视频处理中的运动推理不足，现有方法通过稀疏均匀采样可能丢失关键的运动信息，限制了对物体运动和交互的理解。

核心思路：论文提出的Motion-as-Prompt（MaP）框架通过轨迹引导的方式，选择运动信息丰富的帧并将轨迹信息直接标记到视觉输入上，从而增强模型对运动信息的理解。

技术框架：MaP框架包括三个主要模块：密集轨迹恢复模块、运动信息帧选择模块和视觉输入标记模块。首先恢复视频中的密集轨迹，然后选择包含重要运动信息的帧，最后将轨迹信息标记到视觉输入上。

关键创新：MaP的核心创新在于通过轨迹引导的跨帧视觉提示，直接将运动信息整合到视觉输入中，使得冻结的MLLMs能够更好地理解运动相关的内容，这与传统的稀疏采样方法形成鲜明对比。

关键设计：在设计上，MaP采用了密集轨迹恢复算法，确保轨迹的准确性，并通过选择运动信息丰富的帧来优化输入，确保模型在不进行训练或架构修改的情况下提升性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Motion-as-Prompt在CLEVRER和Something-Something-v2数据集上分别提升了4.2%和8.9%的运动推理准确性，且在提升运动理解的同时未降低非运动理解的性能，展现了其方法的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、视频监控等需要实时运动推理的场景。通过增强多模态大语言模型的运动理解能力，MaP能够提升这些应用的智能化水平和交互能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Motion-centric video reasoning is fundamental to interactive applications such as robotic manipulation and autonomous navigation. However, multimodal large language models (MLLMs) typically process videos through sparse uniform sampling to control visual-token and attention costs. This strategy may discard critical transitions between sampled frames, limiting reasoning about object movement, collisions, and causal interactions. To mitigate this issue, we propose Motion-as-Prompt (MaP), a track-guided cross-frame visual prompting framework. MaP recovers dense point trajectories, selects motion-informative frames, and marks the trajectories accumulated between consecutive sampled frames directly onto the visual inputs, making otherwise hidden displacement, direction changes, and interactions observable to frozen MLLMs. Experiments on CLEVRER and Something-Something-v2 show that MaP consistently improves average motion-reasoning accuracy, yielding gains of 4.2% and 8.9% for GPT-5.5, respectively. Notably, these improvements are obtained without degrading non-motion understanding, highlighting the robustness of MaP. These results demonstrate that MaP provides a simple and effective solution for enhancing motion-centric video reasoning without model training or architectural modification. Project page:https://github.com/SunVictor23/MaP.