Trusting Imagined Futures: Auditing Imagined Rewards for VLA Post-Training
作者: Zicheng Kong, Zhenbo Xu, Haoyan Zhang, Jinghan Yang, Zhenzhen Li, Yiwei Ru, Liuyu Xiang, WanTing Xu, Min Ren, Zhaofeng He
分类: cs.RO, cs.CV
发布日期: 2026-11-03
💡 一句话要点
提出Trusting Imagined Futures以解决VLA后训练中的奖励审计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频世界模型 视觉-语言-动作 执行反馈 奖励审计 机器人控制 多维奖励模型
📋 核心要点
- 现有视频世界模型方法在高预测奖励下，可能导致执行质量差的轨迹被优先选择，影响整体性能。
- 本文提出的TIF方法通过审计预测奖励，结合执行反馈，优化候选动作的选择，提高执行质量。
- 实验表明，TIF在多个测试环境中成功率达到76.25%，较传统方法提升3.00个百分点，且在真实机器人任务中表现优异。
📝 摘要（中文）
视频世界模型使得候选动作可以通过想象的结果进行评估，但高预测奖励可能偏向执行质量差的轨迹。本文提出了Trusting Imagined Futures（TIF），一种用于视觉-语言-动作（VLA）后训练的离线监督选择方法，通过执行反馈审计预测奖励。多维奖励模型预测候选排名的效用分数及五个执行质量维度。审计者利用奖励预测和不确定性识别从成对的想象视频和真实执行中学习到的高估模式。TIF在优势超过现有轨迹的边际且审计风险通过阈值时，接受具有最高预测效用的候选；否则保留现有监督。实验结果显示，TIF在四个LIBERO套件和三个训练种子上实现了76.25%的平均成功率，比现有轨迹训练提高了3.00个百分点。
🔬 方法详解
问题定义：本文旨在解决视频世界模型中高预测奖励导致的执行质量差轨迹优先选择的问题。现有方法未能有效审计预测奖励，导致性能下降。
核心思路：TIF方法通过结合执行反馈和奖励审计，选择具有最高效用的候选动作，确保选择的轨迹在执行中表现良好。
技术框架：TIF的整体架构包括多维奖励模型、审计者模块和候选选择机制。首先，利用多维奖励模型预测候选轨迹的效用分数，然后通过审计者识别高估模式，最后根据审计结果选择最佳候选。
关键创新：TIF的主要创新在于引入了审计机制，通过执行反馈来审计预测奖励，克服了传统方法的不足，确保选择的轨迹在实际执行中具有更高的质量。
关键设计：在设计中，TIF设置了效用分数的计算方式、审计风险的阈值以及候选轨迹的选择标准，确保在保持训练预算不变的情况下，最大化成功率。具体的参数设置和损失函数设计在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
在多个LIBERO测试套件中，TIF方法的平均成功率达到76.25%，比现有轨迹训练提高了3.00个百分点。此外，在真实机器人任务中，TIF在选定轨迹中的干净完成率从58.33%提升至70.00%。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能助手等，能够有效提升这些系统在复杂环境中的决策能力和执行质量。未来，TIF方法有望在更多的多模态学习任务中得到应用，推动智能系统的进一步发展。
📄 摘要（原文）
Video world models enable candidate actions to be evaluated through imagined outcomes, but high predicted rewards can favor trajectories with poor execution quality. We introduce Trusting Imagined Futures (TIF), an offline supervision selection method for vision-language-action (VLA) post-training that audits predicted rewards using execution feedback. A multidimensional reward model predicts a utility score for candidate ranking and five dimensions of execution quality. An auditor uses reward predictions and uncertainty to identify overestimation patterns learned from paired imagined videos and real executions. TIF accepts the candidate with the highest predicted utility when its advantage over the existing trajectory exceeds a margin and its audit risk passes a threshold; otherwise, it retains the existing supervision. The retained real trajectories then supervise behavior cloning. Across four LIBERO suites and three training seeds, TIF achieves a mean success rate of 76.25%, improving over training on the existing trajectories by 3.00 percentage points with the same trajectory count and training budget. Adding audit gating yields 1.47 percentage points with the reward model and advantage margin held fixed. The gains persist against advantage ranking and logistic regression risk selection at matched replacement counts. On recorded videos from three real robot tasks, TIF increases clean completion among selected trajectories from 58.33% to 70.00% across 60 candidate pools.