RAFT: Reasoning-Aligned Fine-Tuning Improves Robustness of VLA Post-Training

📄 arXiv: 2611.04368v1 📥 PDF

作者: Shresth Grover, Andrey Kolobov, Dhruv Shah

分类: cs.RO, cs.CV

发布日期: 2026-11-03

💡 一句话要点

提出RAFT以提升VLA后训练的鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 推理对齐 后训练 鲁棒性提升 机器人操作 微调策略

📋 核心要点

  1. 现有方法在适应特定任务时，虽然能提高成功率，但对外观和指令变化的鲁棒性较差。
  2. RAFT通过两阶段的后训练程序，首先训练低秩适配器，再冻结适配器进行策略微调，旨在提升鲁棒性。
  3. 实验结果显示，RAFT在多个任务中显著提高了成功率，尤其是在分布外和多阶段任务中表现优异。

📝 摘要（中文）

在有限示例下，将通用视觉-语言-动作（VLA）策略适应于特定任务可以提高任务成功率，但会降低对外观、物体和指令变化的鲁棒性。本文提出了推理对齐微调（RAFT），一种两阶段的后训练程序：RAFT首先在与任务相关的推理注释上训练低秩适配器，然后在冻结这些适配器的情况下，对策略进行动作示例的微调。在物理DROID机器人上，RAFT实现了75.0%的分布外成功率，而普通微调仅为27.9%；在多阶段双手YAM任务中，RAFT达到70.0%的平均成功率，而最强基线为36.0%。RAFT还在模拟的拾取-放置和开抽屉任务中改善了在视觉、物体和指令变化下的成功率。

🔬 方法详解

问题定义：本文旨在解决通用视觉-语言-动作（VLA）策略在特定任务适应时的鲁棒性不足问题。现有的微调方法在面对外观、物体和指令变化时，成功率显著下降。

核心思路：RAFT的核心思路是通过推理对齐的微调过程，增强策略对任务相关信息的关注，从而提高在变化条件下的鲁棒性。具体而言，先训练低秩适配器以捕捉推理信息，随后在冻结适配器的情况下进行策略微调。

技术框架：RAFT的整体架构分为两个主要阶段：第一阶段是训练低秩适配器，专注于任务相关的推理注释；第二阶段是冻结适配器后，基于动作示例对策略进行微调。

关键创新：RAFT的主要创新在于引入了推理对齐的微调策略，通过低秩适配器的使用，使得策略在处理任务时更加关注关键区域，与传统的微调方法相比，显著提升了鲁棒性。

关键设计：在设计上，RAFT采用了低秩适配器来捕捉推理信息，损失函数则侧重于任务相关的注释。此外，网络结构经过优化，以确保在微调阶段能够有效利用冻结的适配器信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAFT在物理DROID机器人上实现了75.0%的分布外成功率，相较于普通微调的27.9%有显著提升；在多阶段双手YAM任务中，RAFT达到70.0%的平均成功率，而最强基线仅为36.0%。此外，RAFT在视觉、物体和指令变化下的成功率也得到了改善。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能助手和自动化系统等，能够在多变的环境中提高任务执行的成功率。未来，RAFT方法可能会被广泛应用于各种需要视觉和语言理解的任务，提升智能系统的适应能力和鲁棒性。

📄 摘要（原文）

Adapting a generalist vision-language-action (VLA) policy to a target task with limited demonstrations can improve nominal task success while reducing robustness to variations in appearance, objects, and instructions. We introduce reasoning-aligned fine-tuning (RAFT), a two-stage post-training procedure: RAFT first trains low-rank adapters on task-relevant reasoning annotations, then freezes them while fine-tuning the policy on action demonstrations. On a physical DROID robot, RAFT achieves $75.0\%$ out-of-distribution success, compared with $27.9\%$ for plain fine-tuning; on a multi-stage bimanual YAM task, it reaches $70.0\%$ mean success, compared with $36.0\%$ for the strongest baseline. RAFT also improves success under visual, object, and instruction shifts in simulated pick-and-place and open-drawer tasks. Compared with plain fine-tuning, RAFT policies place more attention on annotated task regions and yield higher linear-probe accuracy for object identity in later layers. A broader reasoning-data mixture further improves downstream success across demonstration budgets.