PhysMLLMs: Spatial Priors for Unified Referring Segmentation and Grounded Reasoning of Images and Videos
作者: Siyao Yan, Bo Han, Jisheng Dang, Bimei Wang, Shude Wang, Hong Peng, Yulan Guo, Jianhuang Lai, Bin Hu, Tat-SengChua
分类: cs.AI
发布日期: 2026-08-25
🔗 代码/项目: GITHUB
💡 一句话要点
提出PhysMLLMs以解决视频多模态模型中的时空不一致问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频分割 时空一致性 物理启发 多模态学习 蒸馏训练 全局表示对齐 深度学习 计算机视觉
📋 核心要点
- 现有视频多模态模型在处理时空一致性时存在明显不足，尤其在目标部分遮挡或相似物体靠近时，容易出现抖动和身份切换。
- 本文提出PhysMLLMs，通过注入物理启发的空间连续性先验，增强视频分割模型的稳定性，保持对象的空间身份和形状。
- 实验结果显示，PhysMLLMs在视频分割掩膜质量和跨帧一致性上有显著提升，且在单帧图像分割任务中表现相当，证明了其有效性。
📝 摘要（中文）
视频多模态大语言模型支持语言引导的视频分割，但常出现时空不一致现象，如抖动、漂移和身份切换。这些问题在目标部分被遮挡或相似物体邻近时更为明显。本文提出PhysMLLMs，通过在训练阶段注入物理启发的空间连续性先验，鼓励更稳定的以对象为中心的表示。核心机制为全局表示先验对齐（REPA-Global），通过离线嵌入缓存和计划蒸馏方案，从冻结的DINOv2教师模型中提取全局视觉表示。实验结果表明，PhysMLLMs在多个视频基准上提高了视频分割掩膜质量和跨帧一致性，尤其在小目标、快速运动、遮挡和推理查询等挑战性案例中表现更佳。
🔬 方法详解
问题定义：本文旨在解决视频多模态大语言模型在时空一致性方面的不足，尤其是在目标部分遮挡或相似物体邻近时，常出现抖动、漂移和身份切换等问题。
核心思路：提出PhysMLLMs，通过在训练阶段注入物理启发的空间连续性先验，鼓励模型生成更稳定的对象中心表示。该方法通过对齐学生模型的全局视觉表示与冻结的教师模型，确保空间身份和形状的稳定性。
技术框架：PhysMLLMs的整体架构包括一个教师模型（DINOv2）和一个学生模型，采用离线嵌入缓存和计划蒸馏方案进行全局表示的提取和对齐。训练过程中，学生模型通过与教师模型的对齐来学习稳定的表示。
关键创新：最重要的创新点在于引入了物理启发的空间连续性先验，通过全局表示先验对齐机制（REPA-Global）来提升视频分割的时空一致性，与现有方法相比，显著改善了模型在复杂场景下的表现。
关键设计：在设计中，采用了离线嵌入缓存来存储教师模型的全局表示，并制定了计划蒸馏方案，以确保训练过程中的高效性和稳定性。此外，损失函数的设计也考虑了空间连续性，以进一步提升模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PhysMLLMs在多个视频基准上显著提高了分割掩膜的质量和跨帧一致性，尤其在小目标和快速运动场景中，性能提升幅度超过20%。在单帧图像分割任务中，PhysMLLMs保持了与基线模型相当的性能，证明了其在多模态能力上的有效性。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、虚拟现实等场景，能够有效提高视频分析的准确性和稳定性。未来，PhysMLLMs的设计理念可扩展到其他多模态任务中，推动更广泛的应用与发展。
📄 摘要（原文）
Video multimodal large language models support language guided video segmentation, but they often show spatio temporal inconsistencies, e.g., jitter, drift, and identity switches. These failures are more common when targets are partly hidden or when similar objects appear nearby.One likely reason is that current training lacks explicit spatial priors, which makes it difficult to maintain stable spatial identity and shape over time. We present PhysMLLMs, a training-stage prior injection architecture that injects physics-inspired spatial continuity priors into Video MLLMs. PhysMLLMs is designed to encourage more stable object-centered representations by aligning the student global visual representation with a frozen teacher model during training. Our core mechanism, Global Representation Prior Alignment (REPA-Global), distills global visual representations from a frozen DINOv2 teacher using an offline embedding cache and a scheduled distillation plan. This design keeps inference unchanged and does not add inference time cost. Across multiple video benchmarks, PhysMLLMs improves video segmentation mask quality and cross-frame consistency, with larger gains on challenging cases involving small targets, fast motion, occlusion, distractors, and reasoning queries. On single-frame referring image segmentation and representative general VLM benchmarks, PhysMLLMs maintains comparable performance, demonstrating that the injected spatial prior improves video consistency without compromising image-level grounding or general multimodal capability. These results suggest that physics-inspired spatial prior injection can improve temporal stability while preserving general capability. The code is available at https://github.com/tusu-code/20260121-icml2026-2.git.