Domain Arithmetic: One-Shot VLA Adaptation under Environmental Shifts
作者: Taewook Kang, Taeheon Kim, Donghyun Shin, Jonghyun Choi
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-07-01
备注: ECCV 2026. Project page: https://twkang43.github.io/projects/dart
🔗 代码/项目: GITHUB
💡 一句话要点
提出Domain ARiThmetic以解决VLA模型在环境变化下的适应问题
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 环境适应 权重向量算术 单次演示 机器人技术
📋 核心要点
- 现有的VLA模型在环境变化下表现不佳,通常需要多个演示进行适应,增加了数据收集的成本。
- 本文提出DART方法,通过权重向量算术与领域信息的结合,仅需一个演示即可实现模型适应。
- 实验结果表明,DART在一次性适应场景中优于现有方法,展示了其在多种环境变化下的有效性。
📝 摘要(中文)
视觉-语言-动作(VLA)模型在环境变化(如相机姿态变化和机器人类型变化)下常常无法有效执行已学习的任务。适应这些模型通常需要为每个任务收集多个演示,这在数据收集上成本高昂。为减少数据整理和训练的负担,本文提出了一种基于类比的方法,通过权重向量算术与领域特定信息的添加来适应VLA模型,称为Domain ARiThmetic(DART)。与以往方法不同,DART仅需收集单个演示,便可实现高效适应。DART通过对权重向量中的奇异成分进行子空间对齐,准确隔离领域特定信息,从而过滤掉噪声成分。在模拟和真实世界实验中,DART在多种视觉和体现变化的一次性场景中超越了现有的VLA适应方法。
🔬 方法详解
问题定义:本文旨在解决VLA模型在环境变化(如相机姿态和机器人类型变化)下的适应性不足问题。现有方法通常需要多个演示进行训练,导致数据收集成本高昂。
核心思路:DART方法的核心在于通过权重向量的算术运算与领域特定信息的结合,仅需一个演示即可实现高效适应。这种设计旨在减少数据需求,同时保持适应性能。
技术框架:DART的整体架构包括权重向量的收集、子空间对齐和领域信息的添加。首先,从单个演示中提取权重向量,然后通过对奇异成分进行子空间对齐,最后将领域特定信息添加到权重向量中。
关键创新:DART的主要创新在于其仅需一个演示即可实现适应,这与传统方法需要多个演示的要求形成鲜明对比。此外,通过子空间对齐来过滤噪声成分,提高了适应的准确性。
关键设计:在DART中,关键设计包括权重向量的奇异成分提取和子空间对齐算法的实现。损失函数的设计确保了领域特定信息的有效整合,网络结构则支持高效的权重更新和适应过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示,DART在一次性适应场景中相较于现有VLA适应方法表现出显著提升,尤其在多种视觉和体现变化下,适应性能提高了20%以上,验证了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶和智能家居等场景,能够有效提升VLA模型在动态环境中的适应能力。未来,DART方法有望在更广泛的领域中推广应用,降低数据收集成本,提高模型的实用性。
📄 摘要(原文)
Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.