Trimming the Long-Tail of Visual World Modeling Evaluation
作者: Bingxuan Li, Yining Hong, Cheng Qian, Hyeonjeong Ha, Jiateng Liu, Zhenhailong Wang, Yue Guo, Yunzhu Li, Heng Ji
分类: cs.CV
发布日期: 2026-06-23
💡 一句话要点
提出Tailor-Bench以解决视觉世界建模中的长尾问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉世界建模 长尾分布 物理交互 模型评估 不规则交互 生成模型 推理能力
📋 核心要点
- 现有视觉世界模型主要关注常见物理交互，导致对稀有交互的模拟能力不足。
- 本文提出Tailor-Bench基准，通过设计不同场景模式来系统评估模型对不规则物理交互的模拟能力。
- 实验结果表明，模型在常规场景下表现良好，但在不常规和不可能场景下性能显著下降，显示出泛化能力的不足。
📝 摘要（中文）
物理交互遵循长尾分布：一组常见且规律的交互主导人类经验和视觉数据，而一系列稀有和不规则的交互则被低估。尽管近期的视觉世界模型在现有基准上取得了显著的真实感，但它们主要集中于模拟常见的物理交互。本文提出Tailor-Bench，一个基准测试，挑战世界模型模拟不规则的物理交互。我们设计了三种逐步挑战模型推理的场景模式，并在统一评估协议下设计了两种互补设置。实验结果显示，物理世界建模存在明显的长尾差距，模型在不常见交互上的泛化能力有限。
🔬 方法详解
问题定义：本文旨在解决现有视觉世界模型在模拟不规则物理交互时的不足，尤其是它们在长尾分布下的表现差异。现有方法主要集中于常见交互，导致对稀有交互的理解和模拟能力不足。
核心思路：论文提出Tailor-Bench基准，通过设计三种不同的场景模式（常规、不常规和不可能场景），来系统性地评估模型的推理能力和泛化能力。这样的设计旨在挑战模型的物理原则内化能力。
技术框架：整体架构包括三个主要阶段：首先是常规场景，反映常见工具-任务对；其次是不常规场景，使用属性兼容的替代工具测试模型的适应性；最后是不可能场景，使用属性违反的工具来探测模型的约束意识。
关键创新：Tailor-Bench的设计是本文的核心创新，尤其是通过引入不常规和不可能场景，显著提升了对模型泛化能力的评估标准。这与现有方法的本质区别在于，后者通常只关注常见交互。
关键设计：在评估协议中，设计了两种生成设置：预测生成要求模型在没有指导的情况下推断结果，而描述生成则指定目标结果以确保真实实现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在常规场景下的表现优于不常规和不可能场景，性能下降幅度明显，表明当前模型在处理长尾分布的物理交互时存在显著的泛化能力不足。具体数据未提供，需进一步研究。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等，能够帮助模型更好地理解和模拟复杂的物理交互场景。通过提升模型对不规则交互的理解能力，未来可以在更广泛的应用中实现更高的智能化水平。
📄 摘要（原文）
Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.