EATR-Stereo: Embodiment-Aware Routing of Paired Stereo Evidence for Humanoid Vision-Language-Action Control

📄 arXiv: 2608.17453v1 📥 PDF

作者: Songwei Wu, Rui Zhao, Fan Yang, Zhongqiang Nie, Zhiduo Jiang, Wandong Sun, Yuwei Li, Yang Liu, Hong Liu

分类: cs.RO

发布日期: 2026-08-18

备注: 8 pages, 5 figures

💡 一句话要点

提出EATR-Stereo以解决长时间人形机器人视觉-语言-行动控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 视觉-语言-行动 立体视觉 信息融合 机器人控制 本体感知 任务执行

📋 核心要点

  1. 现有的视觉接口在长时间人形VLA控制中，常常忽视互补立体证据，导致信息损失和性能下降。
  2. EATR-Stereo通过保留主视图令牌并构建交叉视图辅助令牌，增强了视觉和语言模型的上下文信息，提升了控制效果。
  3. 在实验中，EATR-Stereo在复杂任务中表现出色，尤其在严重的非对称遮挡情况下，恢复成功率显著提高。

📝 摘要（中文）

长时间的人形视觉-语言-行动（VLA）控制需要能够利用互补视图的视觉接口，同时保持与预训练表示的兼容性。现有接口往往会丢弃互补的立体证据，或在不保留原始主视图路径的情况下融合额外观察。本文提出EATR-Stereo，一个具身感知的令牌路由框架，保留主视图令牌并通过查询同步的辅助视图令牌序列构建主对齐的交叉视图辅助令牌（CVATs）。通过身体分段的本体感知编码器，进一步根据机器人配置历史条件化令牌级辅助使用，使得在动作生成过程中能够选择性地结合立体证据。EATR-Stereo在33自由度的物理人形机器人上进行了评估，取得了60.0%的全任务成功率，100.0%的抓取成功率和80.0%的阶段成功率。

🔬 方法详解

问题定义：本文旨在解决长时间人形机器人在视觉-语言-行动控制中，现有方法对互补立体证据的忽视和信息融合不当的问题。现有方法常常丢弃重要的视觉信息，导致控制效果不佳。

核心思路：EATR-Stereo的核心思路是通过保留主视图令牌，并构建主对齐的交叉视图辅助令牌（CVATs），从而有效利用互补视图的信息。这种设计使得机器人能够在动作生成过程中选择性地整合立体证据。

技术框架：EATR-Stereo的整体架构包括主视图令牌的保留、交叉视图辅助令牌的构建以及基于身体分段的本体感知编码器。该框架通过查询同步的辅助视图令牌序列，增强了主视图的上下文信息。

关键创新：EATR-Stereo的主要创新在于其具身感知的令牌路由机制，能够在保留主视图信息的同时，有效整合辅助视图信息。这一机制与传统方法的根本区别在于其对信息的选择性整合和对机器人配置历史的适应性。

关键设计：在设计中，采用了身体分段的本体感知编码器，以便根据机器人状态历史条件化辅助信息的使用。此外，模型的损失函数和网络结构经过精心设计，以确保信息的有效传递和整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EATR-Stereo在复杂的搜索-接近-抓取-放置-返回任务中表现出色，取得了60.0%的全任务成功率和100.0%的抓取成功率。在严重的非对称遮挡情况下，恢复成功率从30%提升至80%，显示出显著的性能提升。

🎯 应用场景

该研究在机器人控制、智能家居、自动化生产等领域具有广泛的应用潜力。通过提升人形机器人的视觉-语言-行动能力，EATR-Stereo能够实现更复杂的任务执行，推动人机协作的进步，并为未来的智能机器人系统奠定基础。

📄 摘要（原文）

Long-horizon humanoid vision--language--action (VLA) control with head-mounted stereo cameras requires visual interfaces that can exploit complementary views while maintaining compatibility with pretrained representations. Existing interfaces often discard complementary stereo evidence or fuse additional observations without preserving the native primary-view pathway and adapting auxiliary information to robot embodiment. We present EATR-Stereo, an embodiment-aware token-routing framework that retains primary-view tokens and constructs primary-aligned Cross-View Auxiliary Tokens (CVATs) by querying the synchronized auxiliary-view token sequence. A body-segmented proprioceptive encoder further conditions token-wise auxiliary usage on robot configuration history, enabling selective incorporation of stereo evidence during action generation. The routed auxiliary stream augments the language and primary-visual context of a pretrained VLA while keeping its vision--language model frozen. On a 33-DoF physical humanoid with a 37-D proprioceptive state, we evaluate nine configurations in over-100-s search--approach--grasp--place--return tasks. EATR-Stereo achieves 60.0% full-task success, 100.0% grasp success, and 80.0% stage success. Under severe asymmetric occlusion, it improves recovery to 80% compared with 30% for CVAT alone. Ablation studies further show the importance of preserving primary tokens and combining cross-view auxiliary features with structured proprioceptive routing. These results demonstrate that selectively routed paired stereo evidence improves spatial grounding for reliable long-horizon humanoid VLA control.