AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction
作者: Yafei Zhang, Nan Wu
分类: cs.AI, cs.RO
发布日期: 2026-08-28
💡 一句话要点
提出AcrossVAM1.0以解决机器人视频预测中的运动推理与外观保留问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人视频预测 运动推理 外观保留 粒子动态 文本辅助模型 时空Transformer 多模态学习
📋 核心要点
- 现有的机器人视频预测方法在运动推理和外观保留方面存在不足，导致模型性能受限。
- 本文提出的AcrossVAM1.0通过将未来预测分解为运动和外观两个部分，提供了一种新的解决方案。
- 在VRS基准测试中，AcrossVAM1.0在轨迹误差和图像质量方面均有显著提升，展示了其有效性。
📝 摘要（中文）
预测机器人视频需要精确的运动推理和高频外观的保留，然而现有的单一像素模型往往将这两个目标混合在一起，导致进展不明显。本文提出了AcrossVAM1.0，一个轻量级的文本辅助视频动作模型，将未来预测分解为以对象为中心的运动和密集外观。通过一个冻结的SAM3-DLP编解码器，将四个上下文帧分解为语义粒子，并使用一个0.28M参数的时空Transformer对粒子身份进行对齐，推动状态前进，并通过FiLM模块化地与冻结的OpenCLIP指令嵌入结合。实验结果表明，AcrossVAM1.0在VRS基准上显著降低了轨迹误差，并提升了未来帧的PSNR和SSIM。
🔬 方法详解
问题定义：本文旨在解决机器人视频预测中运动推理与外观保留的矛盾。现有方法通常将这两者混合，导致性能不佳，尤其是在高频外观的保留上存在挑战。
核心思路：AcrossVAM1.0通过将未来预测分解为对象中心的运动和密集外观，采用文本辅助的方式来引导模型的学习和生成过程，从而更好地处理这两个目标。
技术框架：该模型的整体架构包括一个冻结的SAM3-DLP编解码器，用于将上下文帧分解为语义粒子；一个0.28M参数的时空Transformer，用于对粒子身份进行对齐和状态推进；以及一个因果双流解码器，结合粒子运动和最后观察帧的外观。
关键创新：最重要的创新在于引入了显式的粒子动态作为低维接口，能够有效地处理运动和外观的分离，而不是依赖于传统的单一像素模型。
关键设计：模型采用了FiLM模块来调节粒子状态，并使用残差精炼器和学习的交付掩码来生成未来帧。参数设置和损失函数的设计也经过精心调整，以优化模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AcrossVAM1.0在VRS基准上将轨迹误差降低了21.0%，未来帧的PSNR/SSIM从19.97/0.796提升至20.573/0.8004，展示了显著的性能提升。此外，原始粒子生成在运动区域的PSNR也从11.89提升至13.23，表明模型在运动推理方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、智能监控等场景，能够为机器人在复杂环境中的自主决策和行为预测提供支持。随着技术的进步，未来可能会在更多实际应用中发挥重要作用，提升机器人系统的智能水平。
📄 摘要（原文）
Predicting robot videos requires both precise motion reasoning and preservation of high-frequency appearance, yet monolithic pixel models entangle these objectives and often conceal their progress behind a strong last-frame baseline. We present AcrossVAM1.0, a lightweight, text-assisted video action model that factorizes future prediction into object-centric motion and dense appearance. A frozen SAM3-DLP codec decomposes four context frames into semantic particles for the robot, arm, and gripper, together with a background latent. A 0.28M-parameter spatio-temporal Transformer aligns particle identities, rolls their states forward, and is modulated by a frozen OpenCLIP instruction embedding through FiLM. A causal dual-stream decoder combines particle-rendered motion with appearance encoded exclusively from the last observed frame; a residual refiner and learned delivery mask produce five future frames without access to future appearance. On our VRS benchmark constructed from diverse real-robot trajectories, particle dynamics reduce trajectory error by 21.0\% over persistence. Across three delivery-mask seeds, AcrossVAM1.0 improves future-frame PSNR/SSIM from 19.97/0.796 to 20.573/0.8004, while raw particle generation improves motion-region PSNR from 11.89 to 13.23. The delivered model does not yet beat persistence in LPIPS, and correct-versus- shuffled language changes trajectory error by only 2.8--3.1%. We report these limitations alongside oracle, negative-control, multi-seed, and per-robot analyses. The results show that explicit particle dynamics are a promising low-dimensional interface for robot video prediction, while robust language grounding and appearance delivery remain the principal open challenges.