When, Where, and What to Correct: Human-Guided Adaptive Residual Correction for Robot Policies

📄 arXiv: 2610.37547v1 📥 PDF

作者: Anukriti Singh, Maxime Caniot, Pratap Tokekar, Firas Abi-Farraj

分类: cs.RO, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出自适应残差修正以解决机器人精确操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自适应残差修正 机器人操作 强化学习 人类反馈 精确控制 模仿学习 任务成功率

📋 核心要点

  1. 现有的模仿学习策略在局部精度要求高的操作中常常失败，导致全局学习效率低下。
  2. 本文提出的自适应残差修正（ARC）模块，通过强化学习在固定策略上进行残差修正，利用人类反馈优化探索过程。
  3. 在真实机器人上进行的实验显示，ARC显著提高了任务成功率，从33.3%提升至75.0%，展示了人类修正的有效性。

📝 摘要（中文）

模仿策略在执行大部分操作轨迹时可能会在局部区域出现精度不足的问题。更新整个策略或在所有地方探索残差动作会将局部失败视为全局学习问题。本文提出了一种轻量级的后训练模块——自适应残差修正（ARC），该模块利用强化学习在冻结策略的基础上学习残差修正，并通过稀疏的人类修正来指导自主探索。ARC通过预干预状态确定何时激活残差控制，通过修正几何体确定在残差动作空间中何处进行自主优化，任务奖励则决定最终执行的残差。实验表明，ARC在三项精确操作任务中将任务成功率从33.3%提升至75.0%。

🔬 方法详解

问题定义：本文旨在解决机器人在执行精确操作时的局部失败问题，现有方法通过全局学习来处理局部问题，效率低下。

核心思路：ARC模块通过强化学习在固定策略上进行残差修正，利用稀疏的人类反馈来指导自主探索，而非将人类修正视为模仿目标。

技术框架：ARC的整体架构包括三个主要模块：预干预状态分析、残差控制激活机制和自主探索优化。预干预状态用于判断何时激活残差控制，残差空间的几何形状用于指导探索。

关键创新：ARC的最大创新在于将人类修正转化为稀疏反馈，定义任务相关的低维子空间，避免了全局学习的复杂性。

关键设计：在设计中，ARC使用了特定的损失函数来优化残差修正，并通过几何约束来限制探索空间，确保高效的学习过程。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ARC在三项精确操作任务中将任务成功率从33.3%提升至75.0%，证明了稀疏人类修正的有效性和重要性。该方法在保留96.0-97.7%的修正幅度的同时，显著提高了操作的可靠性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和医疗机器人等需要高精度操作的场景。ARC模块能够有效提升机器人在复杂环境中的操作精度，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Imitation policies that reliably execute most of a manipulation trajectory can still fail in localized regions requiring last-mile precision. Updating the full policy or exploring residual actions everywhere treats this local failure as a global learning problem. We introduce Adaptive Residual Correction (ARC), a lightweight post-training module that uses reinforcement learning (RL) to learn a residual correction on top of a frozen policy while using sparse human corrections to structure autonomous exploration. Rather than treating human corrections as imitation targets, ARC uses pre-intervention states to determine 'when' residual control should become active and correction geometry to determine 'where' in residual action space autonomous refinement should explore; task reward determines 'what' residual is ultimately executed. Across three precision-manipulation tasks on a real robot, ARC improves average task success from 33.3% to 75.0%. The human corrections define task-dependent 2-3 dimensional subspaces of the seven-joint residual space that retain 96.0-97.7% of squared correction magnitude. Together, these results show that sparse human corrections can localize and constrain autonomous post-training without requiring the observed correction itself to serve as the final action target.