ActiveAlign: Aligning Egocentric Manipulation via Active Perception

📄 arXiv: 2610.36859v1 📥 PDF

作者: Ri-Zhao Qiu, Bowen Wen, Yifeng Jiang, Chen Tessler, Eric Heiden, Xue Bin Peng, Xiaolong Wang, Stan Birchfield, Erwin Coumans

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-27

💡 一句话要点

提出ActiveAlign以解决真实与模拟环境对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 主动感知 机器人操作 手眼标定 触觉反馈 对齐精度 模拟环境 真实世界 机器学习

📋 核心要点

  1. 现有方法依赖被动感知，导致真实与模拟环境之间存在对齐差距，影响机器人操作的准确性。
  2. ActiveAlign框架通过主动感知，结合手部动作和触觉反馈，提出了有效的对齐解决方案。
  3. 实验结果显示，ActiveAlign在真实机器人上实现了对毫米级物体的精确操作，显著提升了操作精度。

📝 摘要（中文）

Real-to-Sim-to-Real (Real2Sim2Real)方法为规划、可解释性和安全执行提供了结构化的世界表示。然而，现有方法多依赖被动感知，导致真实与模拟之间存在差距。为此，本文提出了ActiveAlign框架，通过主动感知来缩小这一差距。ActiveAlign包含两个互补模块：ActiveAlign-Waving通过主动手部动作和可微渲染进行手眼标定；ActiveAlign-Touching则利用触觉反馈精细调整物体对齐，达到毫米级精度。实验表明，ActiveAlign能够在真实Unitree G1机器人上实现对毫米级物体的精细操作，如按按钮和移动滑块。

🔬 方法详解

问题定义：本文旨在解决真实与模拟环境之间的对齐问题，现有方法因依赖被动感知而导致对齐不准确，影响机器人操作的可靠性。

核心思路：ActiveAlign框架通过主动感知的方式，利用手部动作和触觉反馈来缩小真实与模拟之间的差距，从而实现更精确的操作。

技术框架：ActiveAlign包含两个主要模块：ActiveAlign-Waving用于手眼标定，ActiveAlign-Touching用于物体对齐的精细调整。整体流程通过主动感知与反馈循环来优化对齐效果。

关键创新：最重要的创新在于引入主动感知机制，利用手部动作和触觉反馈实现毫米级的对齐精度，这与传统的被动感知方法形成鲜明对比。

关键设计：在ActiveAlign-Waving中，采用可微渲染技术进行手眼标定；在ActiveAlign-Touching中，通过触觉传感器获取反馈，确保物体对齐的精确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ActiveAlign在Unitree G1机器人上实现了对毫米级物体的精细操作，如按按钮和移动滑块，显著提升了操作精度，展示了与传统方法相比的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等。通过实现更精确的物体对齐，ActiveAlign能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Real-to-Sim-to-Real (Real2Sim2Real) enables structured world representations for planning, interpretability, and safe execution. Most existing approaches rely on passive perception, which creates real2sim gaps due to imperfect observation. Inspired by how humans perceive actively through actions, we propose ActiveAlign, a framework that leverages active perception to align the Real2Sim2Real gap from interactions. ActiveAlign introduces two complementary modules: (i) ActiveAlign-Waving, which performs hand-eye calibration by exploiting active hand motions and differentiable rendering, and (ii) ActiveAlign-Touching, which refines object alignment through tactile feedback to achieve millimeter-level precision. Together, these capabilities enable strong real2sim alignment. We demonstrate that ActiveAlign-Waving can be used to curate simulation environments for open-sourced uncalibrated robot manipulation datasets, and demonstrate on a real Unitree G1 robot that ActiveAlign enables fine manipulation of millimeter-scale objects such as pressing buttons and moving sliders.