From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents

📄 arXiv: 2608.09168v1 📥 PDF

作者: Liang He, Jingbo Wen, Hongyu Gu, Hao Li, Haoyu Wang, Yixiong Chen, Kangning Cui, Xilu Wang

分类: cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出奖励感知动态执行门以优化技能基础LLM代理的执行效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 技能检索 执行效用 动态门控 代理模型 计算效率 智能代理 机器学习

📋 核心要点

  1. 现有方法在技能检索后，无法有效判断执行检索到的技能组合是否值得，导致计算资源浪费。
  2. 论文提出的RADEG通过学习执行效用的代理模型，能够在执行前快速评估技能组合的价值。
  3. 实验表明，RADEG在288个收集的执行案例中，显著减少了不必要的执行，同时保留了大量验证奖励。

📝 摘要（中文）

随着代理技能的广泛应用，如何有效执行检索到的技能组合成为一个重要挑战。本文提出了奖励感知动态执行门（RADEG），作为技能检索与代理执行之间的轻量级决策层。RADEG通过学习低成本的代理模型，预测查询-技能组合的执行效用，从而在进行高成本的执行前做出决策。通过局部扰动检索到的技能组合，本文实现了对执行效用的有效监督。实验结果表明，RADEG显著减少了不必要的代理执行，同时保持了较高的下游验证奖励，优于基于相关性和随机选择的门控方法。

🔬 方法详解

问题定义：本文旨在解决在技能检索后，如何有效判断执行检索到的技能组合是否值得的问题。现有方法在执行时缺乏对执行效用的评估，导致计算资源的浪费。

核心思路：论文提出的RADEG通过构建一个低成本的代理模型，预测查询与技能组合的执行效用，从而在高成本的执行前做出决策。这种设计旨在提高执行的效率和有效性。

技术框架：RADEG的整体架构包括技能检索、执行效用预测和执行决策三个主要模块。首先进行技能检索，然后通过代理模型评估执行效用，最后决定是否执行检索到的技能组合。

关键创新：RADEG的核心创新在于引入了奖励感知的动态执行门，能够在不需要重新训练检索器或代理的情况下，快速适应新的验证反馈。这一方法与传统的基于相关性的门控方法有本质区别。

关键设计：在设计上，RADEG使用了局部扰动技术，通过删除、添加或替换技能来生成匹配的相同查询执行案例，以隔离技能组合对验证奖励的影响。此外，RADEG仅更新一个预热的逻辑头，确保了适应性的高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在288个收集的执行案例中，RADEG显著减少了不必要的代理执行，保持了大量的下游验证奖励。与基于相关性和随机选择的门控方法相比，RADEG在不同执行预算下均表现出色，证明了执行感知的代理建模在技能检索中的实用性和成本效益。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和机器人控制等。通过提高技能执行的效率，RADEG能够在实际应用中节省计算资源，提升系统的响应速度和用户体验，未来可能对智能代理的广泛应用产生深远影响。

📄 摘要（原文）

Agent skills are increasingly used to equip large language model (LLM) agents with reusable procedural knowledge. Although recent work has substantially improved skill retrieval due to the increasing skill libraries, retrieving a plausible skill bundle does not guarantee that executing it is worthwhile. Since every skill-conditioned rollout is computationally expensive, deciding whether a retrieved bundle should be executed has become an increasingly important challenge. To this end, we introduce the Reward-Aware Dynamic Execution Gate (RADEG), a lightweight, retriever-agnostic decision layer between skill retrieval and agent execution. RADEG learns a low-cost surrogate model that predicts the execution utility of a query--bundle pair before the expensive rollout is launched. To obtain informative supervision while controlling for task difficulty, we locally perturb each retrieved bundle by deleting, adding, or replacing one skill, producing matched same-query rollouts that isolate the effect of bundle composition on verifier reward. During deployment, RADEG updates only a warm-started logistic head as new verifier feedback becomes available, enabling inexpensive adaptation of the execute/skip boundary without retraining either the retriever or the agent. Under a query-level held-out evaluation on 288 collected rollouts, RADEG substantially reduces unnecessary agent executions while preserving a large fraction of the downstream verifier reward. It consistently outperforms relevance-based and random gating across different execution budgets, demonstrating that execution-aware surrogate modeling provides a practical and cost-effective complement to skill retrieval.