JevVLA: Jev-Inspired Energy-Based Adaptation for Vision-Language-Action Policies
作者: Wei Wang, Wenqiao Zhang, Zheqi Lv, Zheng Dong, Yingjie Niu, Jiaqi Zhu, Jun Xiao, Chao Li, Yueting Zhuang
分类: cs.RO
发布日期: 2026-10-26
备注: 30 pages, 8 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出JevVLA以解决视觉-语言-动作策略适应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 策略适应 能量模型 机器人控制 多模态学习
📋 核心要点
- 现有的视觉-语言-动作策略在适应性和决策效率上存在不足，难以同时优化离散和连续动作选择。
- 本文提出的JevVLA框架通过学习一个基于能量的动作偏好函数，统一了离散候选选择与连续动作控制的决策过程。
- 实验结果表明，JevVLA在多个基准测试中显著提高了任务成功率，验证了其在适应性方面的有效性。
📝 摘要（中文）
视觉-语言-动作（VLA）策略能够在离散候选中选择进行抓取和放置操作，或为运动控制生成连续的动作块。提升这两种决策形式的共同机制，同时保留预训练策略的能力，是一个重要的适应问题。受Jev的结构化概率决策接口启发，本文提出了JevVLA，一个轻量级的基于能量的适应框架。JevVLA通过建模动作提案的相对质量来实现这一灵感：在基础策略冻结的情况下，它学习一个可微分的标量能量，条件为观察、任务上下文和动作，利用执行反馈、专家修正或示范派生的偏好。JevVLA以两种方式使用这个单一的学习动作偏好函数：其值比较离散候选，而其动作梯度则修正连续动作或指导其生成。每个基准使用独立训练的权重和固定的输入/输出编码，同时保留约80,000个可训练参数的核心网络。在保留的测试集上，JevVLA在MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus和CLIPort上分别比匹配的基础策略控制提高了1.28、2.31、1.60、1.52和1.28个百分点。这些结果支持了轻量级Jev启发能量模型在适应离散动作选择和连续动作指导方面的可行性。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作策略在适应性和决策效率上的不足，现有方法难以同时优化离散和连续动作选择，导致任务成功率不高。
核心思路：JevVLA框架的核心思想是通过学习一个可微分的能量函数，来建模动作提案的相对质量，从而实现对离散候选和连续动作的统一决策。这样设计的目的是为了提高决策的灵活性和准确性，同时保留预训练策略的能力。
技术框架：JevVLA的整体架构包括三个主要模块：观察输入模块、任务上下文模块和动作生成模块。观察输入模块负责接收环境信息，任务上下文模块整合任务相关信息，而动作生成模块则基于学习的能量函数进行动作选择和生成。
关键创新：JevVLA的主要创新在于引入了基于能量的动作偏好函数，这一函数不仅用于离散候选的比较，还用于修正和指导连续动作的生成。这种双重使用显著提高了决策的效率和准确性。
关键设计：在设计上，JevVLA使用了约80,000个可训练参数，并采用了固定的输入/输出编码。损失函数的设计考虑了执行反馈和专家修正，以确保学习过程的有效性和稳定性。整体框架的轻量化设计使得模型在实际应用中具有较好的适应性和扩展性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，JevVLA在任务成功率上相较于匹配的基础策略控制分别提高了1.28、2.31、1.60、1.52和1.28个百分点，显示出其在适应性和决策效率上的显著提升。这些结果验证了JevVLA作为轻量级能量模型的有效性。
🎯 应用场景
JevVLA框架在机器人抓取、自动化操作和人机交互等领域具有广泛的应用潜力。通过提高视觉-语言-动作策略的适应性，该研究能够推动智能机器人在复杂环境中的自主决策能力，提升其在实际任务中的表现和效率。
📄 摘要（原文）
Vision-language-action (VLA) policies can select among discrete candidates for pick-and-place manipulation or generate continuous action chunks for motion control. Improving both forms of decision making through a common mechanism while retaining the capabilities of a pretrained policy is an important adaptation problem. Inspired by Jev's structured, probabilistic decision interface, we propose JevVLA, a lightweight energy-based adaptation framework for VLA policies. JevVLA instantiates this inspiration by modeling the relative quality of action proposals: with the base policy frozen, it learns a differentiable scalar energy conditioned on observations, task context, and actions, using execution feedback, expert corrections, or demonstration-derived preferences. JevVLA uses this single learned action preference function in two ways: its values compare discrete candidates, while its action gradients correct continuous actions or guide their generation. Candidate selection and continuous control thus share one trainable decision core. Each benchmark uses independently trained weights and fixed input/output encodings, while retaining the same core network with approximately 80,000 trainable parameters. On the held-out test sets, JevVLA improves task success over the respective matched base-policy controls by 1.28, 2.31, 1.60, 1.52, and 1.28 percentage points on MetaWorld MT50, VIMA, LanguageTable, LIBERO Plus, and CLIPort, respectively. These results support the feasibility of a lightweight, Jev-inspired energy model for adapting both discrete action selection and continuous action guidance. The JevVLA implementation will be open-sourced at https://github.com/ZJU4EmbodiedAI/JevVLA.