RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail
作者: Amirreza Rouhi, Rajat Aggarwal, Parikshit Sakurikar, Anoop M. Namboodiri, Sashi P. Reddi
分类: cs.CV, cs.AI
发布日期: 2026-07-01
💡 一句话要点
提出RetailSMV以优化零售场景下视频模型的适应性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视频模型 零售场景 自我中心视角 外部中心视角 低秩适应 模型优化 数据同步 智能监控
📋 核心要点
- 现有的基础视频模型在零售场景中的适应性不足，尤其是在视角选择上存在挑战。
- 本文提出RetailSMV语料库，通过同步捕捉自我中心和外部中心视频，优化了模型的适应性。
- 实验结果显示，外部中心适应在多个评估指标上超越了组合适应，尤其在短时间预测窗口中表现最佳。
📝 摘要（中文）
基础视频扩散模型越来越被视为具身智能体的世界模拟器，但其在互联网规模的通用视频上预训练，导致在实际应用领域的适应性较差。本文研究了如何在零售场景中高效地调整预训练的视频世界模型，探讨在同步的自我中心和外部中心视频可用时，哪种视角的训练数据能产生更强的适应模型。我们引入了RetailSMV，一个包含32,105个零售视频片段的语料库，并在相同超参数下训练了三种匹配的低秩适应配置。实验结果表明，外部中心适应在多个指标上优于组合适应，尤其在LPIPS、PSNR和DreamSim上表现显著更好。
🔬 方法详解
问题定义：本文旨在解决基础视频模型在零售场景中适应性不足的问题，尤其是如何选择合适的视角进行训练以提高模型性能。现有方法主要依赖于客户中心的视角，未能充分利用店员视角的数据。
核心思路：论文提出了RetailSMV语料库，通过同步的自我中心和外部中心视频进行训练，探索不同视角对模型适应性的影响。通过对比不同配置的训练，找出最佳的适应策略。
技术框架：研究采用了Cosmos3-Nano模型，训练了三种低秩适应配置：仅自我中心、仅外部中心和组合。所有配置在相同的超参数下进行训练，确保结果的可比性。
关键创新：最重要的创新在于引入了RetailSMV语料库，并通过对比实验发现，外部中心适应在多个指标上优于组合适应，这一发现与传统的客户中心视角训练方法形成鲜明对比。
关键设计：在训练过程中，使用了低秩适应（LoRA）技术，确保模型在参数效率上的优化。实验中使用了200个片段的测试集，评估了七个互补指标，确保了结果的严谨性。实验还表明，在短时间预测窗口内，外部中心数据的加入显著提升了模型的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，外部中心适应在七个评估指标中有六个超过了组合适应，尤其在LPIPS、PSNR和DreamSim上表现显著更好。尽管外部中心训练数据仅为15,985个片段，但其适应性提升效果明显，尤其在短时间预测窗口中表现最佳。
🎯 应用场景
该研究的潜在应用领域包括零售行业的智能监控、库存管理和顾客行为分析等。通过优化视频模型的适应性，能够提高自动化系统在实际环境中的表现，进而提升零售效率和顾客体验。未来，该方法也可扩展到其他领域，如物流和仓储管理等。
📄 摘要（原文）
Foundation video diffusion models are increasingly viewed as world simulators for embodied agents, yet their pretraining on internet-scale generic video leaves them poorly aligned with real-world deployment domains. We study parameter-efficient adaptation of a pretrained foundation video world model to retail scenes: when synchronized egocentric and exocentric video of the same activity are available, which viewpoint of training data produces the strongest adapted model? We introduce RetailSMV (Retail Synchronized Multi-View), a corpus of 32,105 captioned retail clips from five supermarkets with synchronized ego/exo capture from the store-staff perspective (stocking, arranging, weighing, managing supply carts, scanning at checkout), rather than the customer-centric framing of prior retail video corpora, and train three matched Low-Rank Adaptation (LoRA) configurations of Cosmos3-Nano (egocentric-only, exocentric-only, combined) under identical hyperparameters. On a 200-clip held-out test set evaluated with seven complementary metrics under a strict paired statistical protocol, exocentric-only adaptation matches or exceeds combined adaptation on six of seven point estimates and is significantly better on LPIPS, PSNR, and DreamSim, despite training on only 15,985 exocentric clips (versus 32,105 for combined). A symmetric paired comparison further shows that adding exocentric data to egocentric-only training helps while adding egocentric data to exocentric-only training hurts. The absolute adaptation gap is largest at the shortest rollout time, identifying the near-horizon prediction window as the regime in which adaptation is most beneficial.