Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents

📄 arXiv: 2609.02042v1 📥 PDF

作者: Yanting Yang, Can Jin, Jinman Zhao, Jiahao Wu, Yang Zhou, Zhepeng Wang, Zhendong Wang, Mu Zhou, Dimitris N. Metaxas

分类: cs.LG

发布日期: 2026-09-02

备注: EMNLP 2026 Camera Ready

💡 一句话要点

提出SPACE以解决长时间交互任务中的动作选择效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间交互 大型语言模型 动作块学习 程序技能 强化学习 效率提升 块边界监督

📋 核心要点

  1. 现有的LLM代理在长时间任务中效率低下，常常在例行动作序列上浪费大量时间。
  2. 本文提出的SPACE方法通过从成功轨迹中提取程序技能，提供块边界监督，从而允许代理发出可变长度的动作块。
  3. 实验结果显示，SPACE在多个基准测试中显著提高了成功率，并减少了决策轮次，展现了其有效性。

📝 摘要（中文）

大型语言模型（LLM）代理在长时间交互任务中通常采用ReAct风格协议，每轮发出一个原始动作。这种方法虽然支持频繁的重新规划，但在许多轮次用于例行动作序列时效率低下。为此，本文提出了SPACE，通过从轨迹诱导的程序技能中提取块边界监督，允许代理发出可变长度的动作块。SPACE通过混合的在线/离线策略优化和块感知的信用分配，将这种时间结构蒸馏为原始块策略。实验结果表明，SPACE在ALFWorld和ScienceWorld上的成功率提高了7.0%-31.3%，同时将平均决策轮次减少了多达78.9%。

🔬 方法详解

问题定义：本文旨在解决LLM代理在长时间交互任务中频繁发出单一动作导致的效率低下问题。现有方法在训练过程中容易陷入单动作行为或过长序列的困境，无法有效学习动作块的边界。

核心思路：SPACE通过从成功的轨迹中提取程序技能，提供块边界的监督信息，使得代理能够学习到可变长度的动作块，而不是单一动作。这种设计旨在提高决策效率，减少不必要的决策轮次。

技术框架：SPACE的整体架构包括两个主要模块：一是从成功轨迹中诱导的程序技能，二是通过混合在线/离线优化的原始块策略。程序技能中的子技能边界直接作为块边界的监督信息。

关键创新：SPACE的核心创新在于通过程序技能的提取和块边界的监督，使得代理能够有效学习动作块的边界。这与传统方法的单一动作输出形成了本质区别，显著提高了任务执行的灵活性和效率。

关键设计：在技术细节上，SPACE采用了混合的在线/离线策略优化，结合块感知的信用分配，以确保在学习过程中有效地分配奖励。此外，设计了适应性损失函数以优化块策略的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPACE在ALFWorld和ScienceWorld上成功率提高了7.0%-31.3%，同时将平均决策轮次减少了多达78.9%。这些结果显示了SPACE在长时间任务中的显著优势，超越了现有的最强基线。

🎯 应用场景

该研究的潜在应用领域包括长时间交互任务的自动化、智能助手、游戏AI等。通过提高决策效率，SPACE能够在复杂环境中更好地执行任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language model (LLM) agents for long-horizon interactive tasks typically follow a ReAct-style protocol, issuing one primitive action per LLM round. While this enables frequent replanning, it is inefficient for long-horizon tasks where many rounds are spent on routine action sequences. A natural alternative is to let the agent emit variable-length action chunks. However, naively training such policies with standard reinforcement learning fails: the agent either collapses to single-action behavior or over-commits to excessively long sequences. Both failures share a common root cause: the inability to learn chunk boundaries. We propose SPACE, which addresses this challenge by distilling chunk-boundary supervision from trajectory-induced programmatic skills. We induce two-level programmatic skills from successful trajectories, where subskill boundaries serve as direct chunk-boundary supervision. This temporal structure is then distilled into a primitive-chunk policy via hybrid on-/off-policy optimization with chunk-aware credit assignment. Experiments on ALFWorld and ScienceWorld show that SPACE improves success rates by 7.0%-31.3% over the strongest baseline in each setting while reducing average LLM decision rounds by up to 78.9%.