Inference-Time Robot Behavior Steering through Physically-Aware Reconfiguration of Task-Structure
作者: Yiyuan Pan, Hanjiang Hu, Shangtao Li, Xusheng Luo, Changliu Liu
分类: cs.RO
发布日期: 2026-06-25
💡 一句话要点
提出ReStruct以解决机器人政策推理时行为引导问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人行为引导 神经自动机 任务结构重构 用户偏好 物理意识控制 残差政策 智能机器人
📋 核心要点
- 现有方法在推理时行为引导方面存在不足，无法有效满足用户未预见的偏好。
- 本文提出ReStruct，通过神经自动机政策重构任务结构，实现对用户偏好的灵活引导。
- 实验结果显示，ReStruct在多种偏好引导下，任务成功率和偏好遵循率较现有方法提升高达25%。
📝 摘要（中文）
在部署学习的机器人政策时，推理时行为引导是一个核心挑战，即在测试时重定向政策以满足用户偏好，而无需重新训练。现有方法存在两种不足：端到端方法需要微调或专家指导，而神经符号方法依赖于预定义符号，其编辑可能导致逻辑合理但物理不可行的计划。为了解决这一挑战，本文提出了ReStruct，基于神经自动机政策，将视觉运动政策分解为捕捉任务结构的高层状态机骨架和作为残差政策表示的低层连续控制器。ReStruct采用自动机表示偏好，并通过同步乘积将其纳入骨架，从而重新配置任务结构。实验结果表明，ReStruct能够引导多种偏好，超越现有方法，在任务成功率和偏好遵循上提升高达25%。
🔬 方法详解
问题定义：本文旨在解决在推理阶段如何有效引导机器人行为以满足用户偏好的问题。现有方法在此过程中存在微调需求或依赖于不切实际的符号编辑，导致无法实现物理可行的计划。
核心思路：ReStruct的核心思路是利用神经自动机政策，将视觉运动政策分解为高层状态机骨架和低层连续控制器。通过将用户偏好整合到骨架中，能够在不改变控制器的情况下重新配置任务结构。
技术框架：ReStruct的整体架构包括两个主要模块：高层状态机骨架和低层连续控制器。高层骨架负责捕捉任务结构，而低层控制器则保持不变，通过更新骨架提供的动作先验来实现物理意识的控制。
关键创新：ReStruct的创新在于将用户偏好通过同步乘积整合到任务结构中，区别于传统方法的符号编辑，确保生成的计划在逻辑上合理且物理上可行。
关键设计：在设计中，ReStruct采用了残差政策作为低层控制器，确保控制器的稳定性。同时，骨架的更新机制通过引入用户偏好，使得机器人能够灵活适应不同的任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ReStruct在多种偏好引导下，任务成功率和偏好遵循率较现有方法提升高达25%。与VLA模型相比，ReStruct在任务成功率和偏好遵循方面均表现出显著优势，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。通过实现对用户偏好的灵活引导，ReStruct能够提升机器人在复杂环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
A central challenge in deploying learned robot policies is inference-time behavior steering: redirecting a policy at test time to satisfy user preferences not anticipated during training, without retraining. Existing methods fail in two modes: end-to-end methods require fine-tuning or expert-level guidance, while neuro-symbolic methods rely on predefined symbols whose edits can result in logically reasonable but physically infeasible plans. To address this challenge, we propose ReStruct, which builds upon a neural automaton policy that decomposes a visuomotor policy into a high-level state-machine skeleton capturing task structure and a low-level continuous controller represented as a residual policy. Specifically, ReStruct adopts the automaton to represent the preference and incorporates it into the skeleton through a synchronous product, thereby reconfiguring the task structure. With the controller kept frozen, the action priors provided by the skeleton are updated accordingly to enable physically-aware control under a modified task structure. Extensive experiments from simulation and real-world show that ReStruct steers a wide range of preferences, from object-centric specifications to temporal-logic constraints, and after steering surpasses existing methods, exceeding VLA models in both task success and preference-following by up to 25%.