HERA: Historical Evidence Routing Adapter for Physical Prediction in Latent World Models

📄 arXiv: 2608.05523v1 📥 PDF

作者: Yuanruyi, Yue Cao, Haojia Gao, Guanqiu Guo, Ziyuezhang, Shangqin, Junbo Tan, Bokui Chen, Zhuo Zou, Xueqian Wang

分类: cs.CV

发布日期: 2026-08-06

💡 一句话要点

提出HERA以解决物理预测中的历史证据访问问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 历史证据 物理预测 潜在世界模型 视频理解 深度学习 机器人视觉 智能监控

📋 核心要点

  1. 现有方法主要通过扩大时间上下文或缓存通用视频特征来改善历史信息的保留，但未能有效检索和整合相关历史证据。
  2. HERA框架通过历史证据路由，将保留的历史信息有效整合到冻结的潜在预测器中，解决了历史证据的选择性访问问题。
  3. 在IntPhys2 Main分割上，HERA与RRPM结合将V-JEPA 2-G的AvgSurprise准确率从52.57%提升至54.35%，在固定摄像机条件下的表现尤为显著。

📝 摘要（中文）

预测视频模型作为一种有前景的世界模型，通过从大规模视频中学习潜在视觉动态而崭露头角。然而，这些模型在遮挡情况下仍面临挑战，后续预测可能依赖于当前视图中不再可用的对象证据。为了解决这一问题，HERA（历史证据路由适配器）被提出，旨在将保留的历史证据有效地路由到预训练的预测器中。通过使用注册路由补丁记忆（RRPM），HERA显著提高了物理预测的准确性，尤其在固定摄像机连续性和不变性方面表现出色。

🔬 方法详解

问题定义：本论文旨在解决在物理预测中，如何有效利用历史证据的问题。现有方法未能直接处理如何选择性地检索和整合相关历史证据，导致预测性能受限。

核心思路：HERA框架的核心思想是通过历史证据路由，将保留的历史信息有效地整合到一个冻结的潜在预测器中。这种设计允许在不干扰原有潜在工作空间的情况下，利用历史信息进行更准确的预测。

技术框架：HERA框架包括注册路由补丁记忆（RRPM），由结构化内存库、内存寄存器和工作区寄存器组成。整体流程涉及历史证据的存储、检索和整合，确保在需要时能够快速访问相关信息。

关键创新：HERA的主要创新在于其历史证据路由机制，能够在不改变潜在预测器的情况下，有效整合历史信息。这与现有方法的本质区别在于，后者通常依赖于扩大上下文或缓存特征，而非直接路由历史证据。

关键设计：在技术细节上，HERA采用了轻量级的RRPM结构，设计了高效的内存寄存器和工作区寄存器，以优化历史证据的存储和检索过程。具体参数设置和损失函数的设计旨在最大化历史信息的利用效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

HERA与RRPM结合在IntPhys2 Main分割上将V-JEPA 2-G的AvgSurprise准确率从52.57%提升至54.35%。在固定摄像机连续性和不变性方面，准确率分别从46.15%提升至57.69%和63.46%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、智能监控等需要实时物理预测的场景。通过有效整合历史证据，HERA能够提升系统在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Predictive video models have emerged as promising world models by learning latent visual dynamics from large-scale video. Yet these models remain challenged by physical events under occlusion, where later predictions may depend on object evidence that is no longer available in the current view. Addressing this challenge requires historical evidence not only to be preserved but also to remain accessible when it becomes relevant to a subsequent prediction. Existing approaches mainly enlarge the temporal context, cache generic video features, or impose explicit object-centric states, thereby improving the capacity or structure of retained history. However, they do not directly address how relevant historical evidence can be selectively retrieved and integrated into a pretrained predictor without interfering with its native latent workspace. Accordingly, we introduce HERA (Historical Evidence Routing Adapter), a framework for routing retained historical evidence into a frozen latent predictor, and instantiate it with Register-Routed Patch Memory (RRPM), a lightweight adapter comprising a Structured Memory Bank, Memory Registers, and Workspace Registers. On the IntPhys2 Main split, HERA with RRPM improves the pairwise AvgSurprise accuracy of V-JEPA 2-G from 52.57% to 54.35%. Subgroup analysis shows particularly strong improvements on fixed-camera continuity, from 46.15% to 57.69%, and fixed-camera immutability, from 46.15% to 63.46%. These results support historical evidence routing as a practical adaptation strategy for physical prediction in latent world models.