Retrieve in Time, Correct in Frequency

📄 arXiv: 2608.04527v1 📥 PDF

作者: Yuze Fan, Yue Cao, Pengjie Gao, Haojia Gao, Guangqiu Guo, Ziyue Zhang, Junbo Tan, Bokui Chen, Zhuo Zou, Xueqian Wang

分类: cs.RO

发布日期: 2026-08-05

💡 一句话要点

提出RTCF框架以解决长时间操作中的执行误差问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 长时间操作 执行误差 渐进记忆对齐 低频残差转移 机器人操作 自动化技术

📋 核心要点

  1. 现有的VLA策略在长时间操作中容易受到执行误差和视觉混淆的影响，导致性能下降。
  2. RTCF框架通过渐进记忆对齐技术，分离检索经验与转移动作的部分，从而提高了策略的执行精度。
  3. 在四个LIBERO测试套件中，RTCF将整体成功率从86.4%提升至88.4%，并将LIBERO-Long的成功率从61.6%提升至68.6%。

📝 摘要（中文）

冻结的视觉-语言-动作（VLA）策略生成的动作块在长时间操作中容易受到执行误差和视觉混淆的影响。尽管成功的回放提供了有用的纠正证据，但现有的帧检索方法可能返回进度不一致的动作。我们提出了Retrieve in Time, Correct in Frequency (RTCF)框架，该框架在测试时无需训练即可改善冻结的VLA性能，且模型开销低。RTCF通过渐进记忆对齐（PMA）将视觉执行历史与成功轨迹对齐，识别相关记忆和当前对齐位置。通过从对齐的动作块中转移低频残差，RTCF在不更新参数的情况下显著提高了成功率。

🔬 方法详解

问题定义：论文要解决的问题是冻结的VLA策略在长时间操作中因执行误差和视觉混淆导致的性能下降。现有方法在检索和重放过程中可能返回不一致的动作，影响策略的有效性。

核心思路：论文提出的核心思路是通过RTCF框架，在测试时无需训练即可改善冻结的VLA性能。该框架通过渐进记忆对齐技术，准确地对齐视觉执行历史与成功轨迹，从而提高动作的准确性。

技术框架：RTCF的整体架构包括两个主要模块：渐进记忆对齐（PMA）和低频残差转移。PMA负责将视觉执行历史与成功轨迹对齐，而低频残差转移则从对齐的动作块中提取并转移低频信息。

关键创新：RTCF的关键创新在于其训练-free的特性和低模型开销，能够在不需要更新参数或重复推理的情况下，显著提高策略的执行效果。与现有方法相比，RTCF能够更好地处理长时间操作中的执行误差。

关键设计：在设计上，RTCF采用了系数裁剪的低频残差转移策略，确保高频成分和抓取决策仍然继承自冻结策略。此外，PMA通过增量更新单调前沿来实现记忆的对齐，避免了对阶段标签的依赖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RTCF框架在四个LIBERO测试套件中表现出色，整体成功率从86.4%提升至88.4%，而LIBERO-Long的成功率则从61.6%提升至68.6%。这些提升是在不需要参数更新或额外GPU资源的情况下实现的，显示出RTCF的高效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够有效提高长时间操作的成功率。通过减少执行误差，RTCF框架可以提升机器人在复杂环境中的自主性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Frozen vision-language-action (VLA) policies generate temporally extended action chunks, but long-horizon manipulation remains vulnerable to accumulated execution error and visual aliasing across task stages. Successful rollouts provide useful corrective evidence, yet current frame retrieval can return progress-misaligned actions,while direct replay or time-domain fusion can overwrite the reactive structure of the policy proposal. We introduce Retrieve in Time, Correct in Frequency (RTCF), a training-free test-time correction framework that improves frozen VLA performance with low model-side overhead.RTCF separates which experience to retrieve from which part of its action to transfer. Progressive Memory Alignment (PMA) causally aligns the growing visual execution history with complete successful trajectories through incrementally updated monotonic frontiers, jointly identifying a relevant memory and the current aligned memory position without stage labels. From the aligned action chunk,RTCF transfers a coefficient-wise-clipped low-frequency residual on motion channels. Higher-frequency components and gripper decisions remain inherited from the frozen policy. Across four LIBERO suites and 2,000 episodes per condition, RTCF raises aggregate success from 86.4% to 88.4% and improves LIBERO-Long from 61.6% to 68.6%.These gains require no parameter updates, repeated VLA inference, or additional GPU resources: correction can be performed on the client CPU after a single policy invocation, and the median latencies sum to only 10.99 ms per action chunk