Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation
作者: Kuancheng Wang, Vaibhav Saxena, Shuo Cheng, Yotto Koga, Danfei Xu
分类: cs.RO
发布日期: 2026-06-22
备注: Project website: see2act.github.io
💡 一句话要点
提出See2Act以解决机器人模仿学习中的部分可观测性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 主动感知 机器人技术 深度学习 部分可观测性 动作预测 视角推断
📋 核心要点
- 现有的模仿学习方法通常假设环境是完全可观测的，但在实际应用中，物体遮挡使得机器人面临搜索与行动的双重挑战。
- 本文提出的See2Act方法通过在测试时结合主动推断的视角序列与动作去噪，来实现对动作预测的条件化。
- 实验结果显示，在Ravens环境中，该策略能够在严重遮挡情况下恢复信息丰富的视角，并在RLBench任务中性能提升达34%。
📝 摘要（中文）
大多数模仿学习方法假设在桌面环境中具有完全可观测性。然而，在实际应用中，物体常常被遮挡，导致机器人需要同时进行搜索和动作。本文提出See2Act，一种模仿学习方法，通过在测试时将动作预测与主动推断的视角序列相结合，来应对这一挑战。该策略利用与离线演示中的关键帧动作锚定的相机姿态进行训练，从而在学习如何行动的同时隐式学习观察的方式。实验结果表明，在Ravens环境中，该策略能够在严重遮挡下恢复有用的视角，并在RLBench任务中比之前的方法提高了多达34%的性能。在真实世界中，我们在数字双胞胎中收集了50个演示，并在抓取和放置任务中实现了零-shot的模拟到现实转移，展示了该策略在部分可观测性下的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决机器人模仿学习中的部分可观测性问题，现有方法在处理物体遮挡时表现不佳，难以有效学习搜索与行动的结合行为。
核心思路：See2Act方法通过在测试阶段将动作预测与主动推断的视角序列相结合，允许机器人在执行任务时动态调整视角，从而提高对遮挡物体的识别能力。
技术框架：该方法的整体架构包括两个主要模块：动作去噪和视角优化。训练过程中，策略通过与离线演示中的关键帧动作相结合的相机姿态进行优化，形成一个闭环学习系统。
关键创新：See2Act的核心创新在于将视角推断与动作预测相结合，使得机器人在执行任务时能够主动选择最佳观察角度，这一设计与传统的被动观察方法有本质区别。
关键设计：在具体实现中，采用了特定的损失函数来平衡动作去噪与视角优化的目标，同时网络结构设计上考虑了多层次特征提取，以增强对遮挡物体的识别能力。该方法在训练过程中还引入了数据增强技术，以提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
在实验中，See2Act在Ravens环境中成功恢复了在严重遮挡下的信息丰富视角，并在RLBench任务中相比于之前的方法提升了多达34%的性能。此外，该方法在真实环境中的零-shot模拟到现实转移表现出色，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化以及人机交互等场景。通过提高机器人在复杂环境中的操作能力，See2Act能够显著提升机器人在实际任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Most imitation learning methods assume full observability in table-top settings. In practice, objects are often occluded, requiring robots to both search and act, and learning this coupled behavior from limited demonstrations remains challenging. We propose See2Act, an imitation learning approach that conditions action prediction on a sequence of actively-inferred viewpoints at test time, by coupling action denoising with viewpoint refinement. The policy is trained using camera poses anchored to keyframe actions from offline demonstrations, enabling implicit learning of where to see, while learning how to act. We empirically demonstrate that in Ravens the policy recovers informative viewpoints under severe occlusions, and on RLBench tasks it improves performance by up to 34% over prior methods. In the real world, we collect 50 demonstrations in a digital twin and achieve zero-shot sim-to-real transfer on pick-and-place tasks using depth observations. The policy handles significant occlusions, showing that learned viewpoint reasoning enables robust manipulation under partial observability.