FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation

📄 arXiv: 2609.03889v1 📥 PDF

作者: Yutian Zhang, Siyuan Ma, Liwen Yang, Yang Li, Ce Hao, Haozhen Chi, Dong We, Qiaojun Yu, Dibo Hou

分类: cs.RO, cs.AI

发布日期: 2026-09-03

备注: 9 pages, 6 figures

💡 一句话要点

提出FWBC-VLA以解决接触丰富的运动操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动操控 视觉-语言-动作 力感知 全身控制 机器人技术 接触估计 无传感器设计

📋 核心要点

  1. 现有的VLA模型无法有效解释动作引发的物理交互，导致机器人在复杂环境中的操控能力受限。
  2. 本文提出FWBC-VLA框架，通过无传感器的接触强度估计与VLA动作生成相结合，提升机器人对物理交互的理解与控制能力。
  3. 在白板擦拭和门开启的实际实验中，FWBC-VLA展示了优越的操控性能，显著提高了任务完成的成功率。

📝 摘要（中文）

接触丰富的运动操控需要在语义动作生成与物理交互控制之间架起桥梁。现有的视觉-语言-动作（VLA）模型虽然能够从视觉和语言观察中生成任务级动作，但无法解释这些动作所引发的物理交互。为了解决这一问题，本文提出了FWBC-VLA，一个力感知框架，旨在为轮腿机器人提供任务级VLA动作生成与低级全身补偿控制之间的连接。通过引入HSR-Force，一个无传感器的残余扭矩估计器，能够推断接触强度及其时间变化，并将这些接触估计作为标记注入VLA动作专家中，从而增强策略对接触的感知能力。实验证明，该框架在白板擦拭和门开启等任务中表现出色。

🔬 方法详解

问题定义：本文旨在解决接触丰富的运动操控中，现有VLA模型无法解释物理交互的问题。现有的全身控制策略无法区分任务相关的交互力与外部干扰力，导致操控精度不足。

核心思路：提出FWBC-VLA框架，通过引入HSR-Force无传感器的残余扭矩估计器，推断接触强度及其变化，并将这些信息融入VLA动作生成中，以增强机器人对接触状态的感知。

技术框架：FWBC-VLA框架包括三个主要模块：1) HSR-Force用于估计接触强度；2) VLA动作专家用于生成任务级动作；3) 补偿生成器结合机器人的自我感知状态与接触状态，生成修正动作。

关键创新：最重要的创新在于无传感器的接触强度估计方法，能够在不增加硬件成本的情况下，提升机器人对物理交互的理解能力。这一设计与传统依赖传感器的方案本质上不同。

关键设计：在模型训练中，使用WL&Arm数据集对预训练的VLA骨干进行微调，数据集包含超过5000个实验。补偿生成器的输入包括机器人的自我状态、雅可比推导的身体框架力估计和接触状态估计，确保生成的修正动作有效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实际实验中，FWBC-VLA在白板擦拭和门开启任务中表现出色，成功率显著高于传统方法，具体提升幅度未知。这表明该框架在复杂环境中的操控能力得到了有效增强。

🎯 应用场景

FWBC-VLA框架具有广泛的应用潜力，尤其适用于需要高精度物理交互的机器人任务，如家庭服务机器人、工业自动化和人机协作等领域。其无传感器的设计理念也为未来的机器人系统集成提供了新的思路，降低了硬件成本与集成复杂性。

📄 摘要（原文）

Contact-rich loco-manipulation requires a bridge between semantic action generation and physical interaction control. Existing Vision-language-action (VLA) models generate task-level actions from visual and linguistic observations, but cannot interpret the physical interactions induced by those actions. While the whole-body control (WBC) policy can stabilize the robot, it cannot distinguish task-relevant interaction forces from forces induced by external disturbances during manipulation. Although force/torque sensors provide direct measurements of physical interactions, retrofitting them entails additional hardware costs and substantial integration effort, particularly for platforms not designed with sensor integration in mind. To address this problem, we propose FWBC-VLA, a force-aware framework that bridges task-level VLA action generation and low-level whole-body compensation control for wheeled-legged robots. First, we introduce HSR-Force, a sensorless residual-torque estimator for inferring contact strength and its temporal variation. These contact estimates are then encoded as tokens and injected into the VLA action expert during action decoding, enabling the policy to perceive contact onset, sustained loading, and release. For loco-manipulation tasks, all parameters of the pretrained VLA backbone are fine-tuned on our WL\&Arm Dataset, which comprises more than 5,000 episodes. Moreover, the robot's proprioceptive state, the Jacobian-derived body-frame force estimate, and the estimated contact state are jointly fed into a compensation generator to produce corrective actions. The manipulation-centric actions are subsequently combined with the corrective actions and passed to the WBC policy for execution. Real-world experiments on whiteboard wiping and door opening with a door closer demonstrate the effectiveness of our FWBC-VLA in contact-rich loco-manipulation.