Vision-Language Agents Can Learn in Their Own Latent Worlds
作者: Haoxi Li, Sikai Bai, Jianfei Ma, Qinglin Hou, Xiaocheng Lu, Tao Han, Jie Zhang, Song Guo
分类: cs.AI
发布日期: 2026-10-27
备注: 17 pages, 4 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出Dwell框架以解决视觉语言模型在线学习的效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉语言模型 强化学习 潜在空间 在线学习 模型基方法 智能体学习 交互式环境
📋 核心要点
- 现有的视觉语言模型在在线学习中未能有效利用其内化的世界知识，导致策略更新效率低下。
- Dwell框架通过将视觉语言模型视为递归潜在转移算子，使其能够在潜在空间中进行预测和调整，从而提升学习效率。
- 在五个交互式视觉环境中，Dwell显著提高了性能，并减少了计算需求，展示了其在强化学习中的优势。
📝 摘要（中文）
学习经验对于构建下一代智能体至关重要，现有的视觉语言模型（VLMs）虽然内化了丰富的世界知识，但这些知识在在线交互中推动策略改进的潜力尚未得到充分利用。为了解决这一挑战，本文提出了Dwell，一个基于模型的强化学习框架，将VLM重新构建为一个递归潜在转移算子，使其能够在潜在空间中进行预测、调整和行动。Dwell利用VLM自身的表示，作为世界模型和策略，持续从真实交互中学习以预测和评估行动结果，并通过潜在想象来改善行为。在五个交互式视觉环境中，Dwell在可训练方法中表现出最强的整体性能，同时显著减少了想象所需的计算量，表明有效的世界模型不必重建未来，而是需要预测对行动有用的未来。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在在线学习中未能充分利用内化知识的问题，现有方法在策略更新时计算开销大且效率低下。
核心思路：Dwell框架通过将视觉语言模型重构为递归潜在转移算子，使其能够在潜在空间中进行预测、调整和行动，从而实现高效的在线学习。
技术框架：Dwell的整体架构包括世界模型和策略的双重角色，利用VLM的表示进行真实交互学习和潜在想象，形成闭环的学习机制。
关键创新：Dwell的主要创新在于其将VLM作为潜在转移算子，允许智能体在潜在空间中进行有效的预测和行为调整，这与传统方法的直接未来重建有本质区别。
关键设计：Dwell在设计上采用了特定的损失函数以优化预测准确性，并通过调整网络结构来提高潜在空间的表达能力，确保智能体能够高效学习和适应。
🖼️ 关键图片
📊 实验亮点
Dwell在五个交互式视觉环境中的实验结果显示，其整体性能在可训练方法中最强，且在想象计算需求上显著降低，证明了其在强化学习中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等，能够通过持续学习和适应不断提升其决策能力。未来，Dwell框架可能推动更智能的交互系统的发展，使其在复杂环境中表现更为出色。
📄 摘要（原文）
Learning from experience is essential for building the next generation of agents that continually expand their capabilities. Pretrained vision-language models (VLMs) already internalize rich world knowledge, yet this knowledge is rarely leveraged to drive policy improvement through online interaction. Realizing this potential efficiently remains challenging, as policy updates shift the agent's interaction distribution, requiring the world model to adapt accordingly, while continually updating large pretrained models is computationally expensive. To address this challenge, we introduce Dwell, a model-based reinforcement learning (RL) framework that reframes a VLM as a recurrent latent transition operator, endowing it with the ability to predict, adjust, and act in latent space. Leveraging the VLM's own representations and its dual role as both world model and policy, the agent continually learns from real interactions to anticipate and evaluate action outcomes, and from latent imagination to improve its behavior. Across five interactive visual environments, Dwell achieves the strongest overall performance among trainable methods while substantially reducing the compute required for imagination, showing that effective world models for VLM agents need not reconstruct the future; they need to predict futures that are useful for action. Our code is publicly available at https://github.com/Tom111-lhx/Dwell