LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation

📄 arXiv: 2608.25757v1 📥 PDF

作者: Jin Lou, Jingxuan Zhu, Andong Chen, Xupeng Wang, Yuan Xu, Yuexuan Li, Xingdong Zhu, Zhijie Zhu, Yingwei Ji, Wenpeng Nie, Jingyi Li, Liangliang Chen, Jinyan Liu, Zhiqi Song, Jidong Zhang, Hongming Li, Yuchen Zhu

分类: cs.RO, cs.LG

发布日期: 2026-08-26

💡 一句话要点

提出LM-X以解决通用机器人操控中的可解释性与可靠性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 机器人操控 多尺度预测 任务进展 局部可靠性 事件转变 视觉-语言-动作

📋 核心要点

  1. 现有的VLA策略在长时间行为学习中面临任务进展和控制状态隐含性的问题，导致可解释性不足。
  2. LM-X通过引入多尺度预测信号，明确任务进展、事件转变和局部可靠性，从而增强了控制的可解释性。
  3. 在实验中，LM-X在50个随机困难的RoboTwin2.0任务中取得了74.1%的成功率，相较于基线GR00T N1.7提升了18.7个百分点。

📝 摘要（中文）

通用视觉-语言-动作（VLA）策略主要通过短期动作预测学习长时间行为，但对任务进展和控制状态的理解有限。为此，本文提出LM-X，组织任务、事件和运动尺度的预测，提供三种在线监督信号：可见任务进展的回归目标（RTG）、下一个语义转变的事件目标（ETG）和通过传播方差估计的局部可靠性。LM-X在64台NVIDIA B200 GPU上经过20天的预训练，成功提升了模型的成功率，并在超过20,000小时的真实机器人轨迹上进行训练，显示出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有VLA策略在长时间行为学习中对任务进展和控制状态的隐含性问题，导致可解释性不足和性能瓶颈。

核心思路：LM-X通过引入三种在线监督信号（RTG、ETG和局部可靠性估计），在任务、事件和运动尺度上进行预测，从而增强控制的可解释性和可靠性。

技术框架：LM-X的整体架构包括三个主要模块：任务进展预测模块、事件转变预测模块和局部可靠性估计模块，这些模块协同工作以生成更可靠的动作决策。

关键创新：LM-X的主要创新在于将多尺度预测信号直接与动作生成相结合，使得可解释性成为控制过程的内在特性，而非事后生成的解释。

关键设计：在模型设计中，RTG用于衡量可见的任务进展，ETG用于识别下一个语义转变，局部可靠性通过传播方差进行估计，确保模型在面对不确定性时的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LM-X在50个随机困难的RoboTwin2.0任务中实现了74.1%的成功率，相比于GR00T N1.7的55.4%提升了18.7个百分点。此外，在七个真实机器人任务中，LM-X的成功率为68.6%，相比于50.7%也有显著提升。

🎯 应用场景

LM-X的研究成果可广泛应用于机器人操控、自动化生产线、智能家居等领域，提升机器人的自主决策能力和操作的可解释性，未来可能推动人机协作的进一步发展。

📄 摘要（原文）

Generalist vision--language--action (VLA) policies learn long-horizon behavior mainly through short-horizon action prediction and reveal little beyond sampled commands. This creates two coupled bottlenecks: a single action target must implicitly absorb task progress, intermediate intent, and local reliability, while these control states remain hidden during execution. Inspired by functional principles of biological sensorimotor control, we introduce LM-X , which organizes prediction across task, event, and motor scales without claiming anatomical correspondence. Three explicitly supervised signals are emitted online and directly condition action generation: return-to-go (RTG) measures visible task progress, event-to-go (ETG) identifies the next semantic transition, and heteroscedastic action flow estimates local reliability through propagated variance. Explanation is therefore intrinsic to control rather than generated post hoc. Before a costly 20-day pretraining run on 64 NVIDIA B200 GPUs, a controlled five-task pretraining gate verifies the design: the complete model improves success by 16.0 points over the action-only backbone and by 10.8 points over the strongest single-head variant. We then train LM-X on more than 20,000 hours of real-robot trajectories, including over 1,000 hours of failed policy rollouts. LM-X achieves 74.1\% across 50 randomized-hard RoboTwin2.0 tasks versus 55.4\% for GR00T N1.7, and 68.6\% versus 50.7\% across seven real-robot tasks. RTG tracks semantic progress and visible regression, while variance rises during hesitation and oscillatory control. These results show that explicit multi-timescale predictive state can strengthen control while exposing interpretable internal estimates.