SleepWalking: Privileged Representation Shaping for End-to-End Blind Locomotion in Legged Robots
作者: Zheng Pan, Tenghui Wang, Peilin Li, Shiyu Zhou, Hao Sun, Yan Ma, Liang Yu, Liang He
分类: cs.RO
发布日期: 2026-08-31
备注: 18 pages.13 figures
💡 一句话要点
提出SleepWalking以解决盲目运动中的信息保留问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 盲目运动 信息保留 特权重建 端到端框架 自主机器人 策略学习 物理变量
📋 核心要点
- 现有方法在处理部分可观测运动时，往往依赖于显式估计缺失的物理变量，导致信息保留不足。
- 我们提出的SleepWalking框架通过下一步特权物理重建，优化了策略学习中的信息保留过程。
- 实验结果表明，SWAQ在性能上超越了DWAQ，且推理效率显著提高，展示了其有效性。
📝 摘要（中文）
部分可观测的运动要求策略在任务相关的机器人-环境状态未完全由瞬时观察指定时进行行动。现有方法通常通过显式估计缺失的物理变量或通过结构化架构处理扩展观察历史来应对这一挑战。我们提出SleepWalking for Robot Locomotion (SWAQ)，这是一个一阶段的端到端框架，利用下一步特权物理重建来塑造在策略学习过程中递归历史表示所保留的信息。SWAQ在对齐的训练设置下，达到了比最强的非外部基线DWAQ高15.0%的峰值均值地形水平，同时每个控制步骤的推理MACs减少了44.4%。
🔬 方法详解
问题定义：本论文旨在解决部分可观测运动中的信息保留问题。现有方法通常依赖于显式估计缺失的物理变量，导致信息传递不充分，影响策略的有效性。
核心思路：我们提出的SleepWalking框架通过下一步特权物理重建，指导策略学习过程中的信息保留，确保策略的内部状态能够有效保持任务相关的信息。
技术框架：SWAQ是一个一阶段的端到端框架，主要包括特权物理重建模块和历史到动作的直接路径。训练过程中，重建模块帮助塑造递归历史表示，而部署的策略仅依赖于历史信息进行决策。
关键创新：SWAQ的核心创新在于通过特权物理重建来优化信息保留，与传统方法不同，它不需要显式的物理变量估计，简化了架构设计。
关键设计：在设计中，我们设置了特定的损失函数以优化重建质量，并通过层级探测验证了重建物理变量的信息在策略头部的可解码性，确保信息有效传递至动作输出层。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SWAQ在对齐训练设置下，达到了比最强基线DWAQ高15.0%的峰值均值地形水平，同时每个控制步骤的推理MACs减少了44.4%。这些结果表明，SWAQ在信息保留和推理效率上具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、智能移动设备和人机交互系统。通过提高机器人在复杂环境中的运动能力，SWAQ能够在实际场景中实现更高效的自主决策，推动智能机器人技术的发展。未来，随着算法的进一步优化，SWAQ有望在更多动态和不确定环境中应用。
📄 摘要（原文）
Partially observable locomotion requires a policy to act when task-relevant properties of the robot--environment state are not fully specified by instantaneous observations. Existing approaches often address this challenge by explicitly estimating missing physical variables or processing extended observation histories through structured architectures. We take a different view: partial observability is fundamentally an information-retention problem. The decisive question is not how task-relevant information enters the network, but whether the policy's internal state retains it. Guided by this perspective, we propose SleepWalking for Robot Locomotion (SWAQ), a one-stage end-to-end framework that uses next-step privileged physical reconstruction to shape what a recurrent history representation retains during policy learning, while the deployed actor uses only a direct history-to-action pathway. Under aligned training settings, SWAQ achieves a 15.0\% higher peak mean terrain level than DWAQ, the strongest non-exteroceptive baseline, while using 44.4\% fewer inference MACs per control step. Layerwise probes further show that information associated with the reconstructed physical variables remains linearly decodable through the policy head up to the layer preceding the action output. Complementary theoretical analysis relates privileged-variable recoverability to the achievable-return gap between history-based and privileged-information policy classes. These results suggest that semantic objectives can structure learning without requiring a corresponding architectural decomposition of the deployed controller.