Assistron: Bayesian Shared Autonomy with Off-the-shelf Vision-Language-Action Models

📄 arXiv: 2606.23147v1 📥 PDF

作者: Pinhao Song, Ze Fu, Yutong Hu, Renaud Detry

分类: cs.RO

发布日期: 2026-06-22

备注: Using VLA in assistive robotics

🔗 代码/项目: GITHUB

💡 一句话要点

提出Assistron以解决日常活动中的共享自主问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 共享自主 视觉-语言-动作 人机交互 智能机器人 日常操作

📋 核心要点

  1. 现有方法在处理复杂的日常操作时，往往无法有效平衡自主性与用户干预，导致用户负担加重。
  2. Assistron通过结合视觉-语言-动作模型，设计了一种共享自主机制，能够在关键时刻引导用户干预，从而优化操作效率。
  3. 实验结果显示，Assistron在多任务场景中显著提高了任务成功率，相比传统遥控操作，用户的认知和身体负担大幅降低。

📝 摘要（中文）

我们提出了Assistron，一个利用视觉-语言-动作（VLA）模型来辅助用户日常活动的共享自主模型。该方法基于两个核心原则：一是通过VLA驱动的自主性来最小化人类的认知和身体努力，二是在关键故障点优先考虑人类干预。Assistron根据用户的语言指令，利用VLA自主执行宏观运动轨迹，节省用户的努力。在接触丰富的交互中，Assistron采用相位感知交互检测机制，邀请用户进行干预，从而通过流匹配指导调整VLA的动作生成。我们的方案消除了对VLA的微调需求，保护其广泛的行为先验，确保模型不会成为狭窄的专家。我们在一个全面的多任务场景恢复基准上验证了该方法，实验证明Assistron显著提高了任务成功率，同时显著降低了人类的认知和身体负担，提供了一种可扩展、平滑且轻松的辅助操作范式。

🔬 方法详解

问题定义：本论文旨在解决在日常活动中，现有共享自主方法无法有效平衡用户干预与自主执行的问题，导致用户在复杂操作中面临较高的认知和身体负担。

核心思路：Assistron的核心思路是利用视觉-语言-动作模型（VLA）来实现宏观运动的自主执行，同时在关键故障点引导用户进行干预，从而优化操作过程。通过这种设计，Assistron能够在保证用户参与的同时，降低其负担。

技术框架：Assistron的整体架构包括两个主要模块：一是基于VLA的自主动作生成模块，二是相位感知交互检测模块。前者负责根据用户的语言指令生成宏观运动轨迹，后者则在接触丰富的交互中监测并识别关键干预时刻。

关键创新：Assistron的最大创新在于消除了对VLA的微调需求，保护了其广泛的行为先验，避免了灾难性遗忘。这使得模型在多种任务中保持了良好的通用性，而不是成为狭窄的专家。

关键设计：在关键设计方面，Assistron采用了流匹配指导来调整VLA的动作生成，并通过相位感知机制来识别用户干预的必要性。这些设计确保了模型在复杂交互中的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Assistron在多任务场景中显著提高了任务成功率，较纯自主基线提升了XX%（具体数据未知），同时相比传统遥控操作，用户的认知和身体负担减少了YY%（具体数据未知），展现了其在辅助操作中的有效性与优势。

🎯 应用场景

Assistron的研究成果在智能家居、服务机器人和人机协作等领域具有广泛的应用潜力。通过减少用户的认知和身体负担，该模型能够提升日常生活中的操作效率，促进人机协作的自然性与流畅性，未来可能在老年人护理和残障人士辅助等场景中发挥重要作用。

📄 摘要（原文）

We propose Assistron, a shared autonomy model that leverages Vision-Language-Action (VLA) models to assist the user in daily activities. Our approach is grounded in two core principles: (1)~minimizing human cognitive and physical effort by leveraging VLA-driven autonomy for macro-movements, and (2)~prioritizing human intervention specifically at critical failure points. Driven by the user's verbal language commands, Assistron utilizes the VLA to autonomously execute macro-reaching trajectories, saving users' effort. In contact-rich interactions where VLAs tend to fail, Assistron employs a phase-aware interaction detection mechanism and solicits the user to intervene, in turn adjusting the VLA's action generation via flow matching guidance. Critically, our formulation eliminates the need for VLA fine-tuning, protecting its broad behavioral priors from catastrophic forgetting and ensuring the model does not become a narrow specialist. We validate our approach on a comprehensive multi-task scene recovery benchmark encompassing diverse daily manipulation skills. Empirical results demonstrate that Assistron significantly improves task success rates over pure autonomous baselines while significantly reducing human cognitive and physical workload compared to traditional teleoperation, offering a scalable, smooth, and effortless paradigm for assistive manipulation. The code is available in https://github.com/mousecpn/Assistron.git.