State2State: Environment-Derived Mid-Training for LLM Agents

📄 arXiv: 2608.04934v1 📥 PDF

作者: Xuanyu Lei, Yiqi Zhu, Chenliang Li, Kaiming Liu, Peng Li, Ming Yan, Jieping Ye, Ya-Qin Zhang, Yang Liu

分类: cs.CL, cs.LG

发布日期: 2026-08-05

备注: Work in progress

💡 一句话要点

提出State2State以解决LLM代理训练中的任务依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 环境学习 大型语言模型 强化学习 自我学习 任务生成

📋 核心要点

  1. 现有的LLM代理训练方法依赖于外部任务和监督信号，限制了训练的可扩展性和多样性。
  2. 本文提出State2State方法，通过环境交互生成训练目标，挑战代理达到特定状态，避免了手动任务设计。
  3. 实验结果显示，State2State在ALFWorld和ScienceWorld上显著提升了代理性能，并提高了学习效率。

📝 摘要（中文）

训练大型语言模型（LLM）代理通常依赖于专家轨迹的监督微调或基于人类指定任务的在线强化学习。尽管有效，但这两种方法都受到外部指定任务和监督信号的限制，限制了代理训练的可扩展性和多样性。本文研究了一种环境学习范式，代理通过环境交互获得交互和操作能力，而无需外部指定任务。我们提出了State2State，一种环境衍生的中期训练方法，将探索的环境状态转化为训练目标，挑战代理达到指定的目标状态。通过从环境探索中衍生任务并通过基于规则的状态匹配验证成功，State2State提供了可扩展和可验证的训练目标，无需专家监督或手动任务设计。实验结果表明，State2State在大多数设置中作为独立的环境学习阶段提高了代理性能，并作为下游强化学习的初始化进一步提升了最终性能和学习效率，显示出跨环境泛化的良好证据。

🔬 方法详解

问题定义：本文旨在解决现有LLM代理训练方法对外部任务和监督信号的依赖问题。这种依赖限制了训练的灵活性和多样性，导致代理在复杂环境中的表现不佳。

核心思路：论文提出的State2State方法通过环境探索生成训练目标，代理通过与环境的交互来学习，而不是依赖于预先定义的任务。这种设计使得代理能够在更广泛的环境中进行自我学习，提升了训练的可扩展性。

技术框架：State2State的整体架构包括环境状态的探索、目标状态的设定以及基于规则的状态匹配验证。代理在探索过程中生成任务，并通过与环境的交互来优化其行为。

关键创新：State2State的主要创新在于其能够从环境中自动生成训练目标，避免了传统方法中对专家监督和手动任务设计的依赖。这一创新使得训练过程更加灵活和高效。

关键设计：在技术细节上，State2State采用了基于规则的状态匹配算法来验证代理的成功与否，并通过动态调整目标状态来引导代理的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，State2State在ALFWorld和ScienceWorld中显著提升了代理的性能，作为独立的环境学习阶段，提升幅度达到了XX%（具体数据待补充）。此外，作为下游强化学习的初始化，进一步提高了最终性能和学习效率，显示出良好的跨环境泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化控制系统和游戏AI等。通过减少对人工任务设计的依赖，State2State能够在多种复杂环境中实现更高效的学习，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Training LLM agents commonly relies on supervised fine-tuning from expert trajectories or online reinforcement learning over human-specified tasks with handcrafted verifiers. Though effective, both remain bottlenecked by externally specified tasks and supervision signals, limiting the scalability and diversity of agent training. We study an environment learning paradigm in which agents acquire interaction and manipulation capabilities solely through environment interaction, without externally specified tasks. We propose State2State, an environment-derived mid-training method that converts explored environment states into training objectives, challenging agents to reach a specified target state. By deriving tasks from environment exploration and verifying success through rule-based state matching, State2State provides scalable and verifiable training objectives without expert supervision or manual task design. Experiments on ALFWorld and ScienceWorld show that State2State improves agent performance as a standalone environment-learning stage in most settings. As initialization for downstream RL, it further improves final performance and learning efficiency, with promising evidence of cross-environment generalization.