Self-Evolution for Multi-Turn Tool-Calling Agents via Divergence-Point Preference Learning
作者: Jiaqiang Tang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-06-22
备注: 7 pages, 2 figures, 2 tables
💡 一句话要点
提出自我进化方法以提升多轮工具调用代理的性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多轮对话 工具调用 自我进化 偏好学习 智能代理 DPO训练 ToolGraph 性能提升
📋 核心要点
- 现有方法在推理时的工具选择与参数学习分离，导致工具选择结构松散，偏好更新易受训练与部署不匹配影响。
- 论文提出ToolGraph框架，结合拓扑结构、转移权重和历史控制，增强工具选择的结构性与有效性。
- 实验结果显示，ToolGraph和ToolGraph+DPO在多个任务中显著提升了奖励，尤其在航空和零售领域表现突出。
📝 摘要（中文）
多轮工具使用代理需要协调长时间的工具序列，同时跟踪对话状态和策略约束。现有方法通常将推理时的协调与参数级学习分开，导致工具选择结构松散，偏好更新容易受到训练与部署之间的提示不匹配影响。为实现基准内的自我改进，ToolGraph结合了基于模式的拓扑结构、从成功回合中估计的转移权重以及历史感知控制。通过状态匹配和前缀对齐定位发散点，构建了161个偏好对，并在与推理相同的ToolGraph上下文中训练DPO。在375个tau2-bench任务中，ToolGraph的加权平均奖励从0.304提升至0.338（相对提升11.2%），而ToolGraph+DPO达到了0.355（较基线提升16.8%），DPO的增益主要集中在航空和零售领域。
🔬 方法详解
问题定义：论文旨在解决多轮工具调用代理在工具选择和偏好更新中的结构性不足，现有方法在推理与学习之间缺乏有效的协调，导致性能受限。
核心思路：提出ToolGraph框架，通过结合模式导出的拓扑结构和历史信息，增强工具选择的结构性，并通过DPO方法进行偏好学习，以实现自我进化。
技术框架：整体架构包括ToolGraph模块、偏好对构建模块和DPO训练模块。ToolGraph模块负责工具序列的结构化表示，偏好对模块通过状态匹配和前缀对齐生成偏好对，DPO模块在ToolGraph上下文中进行训练。
关键创新：最重要的创新在于将工具选择与偏好学习结合在同一框架内，利用历史信息和成功回合数据进行自我改进，显著提升了多轮对话中的工具调用性能。
关键设计：在参数设置上，使用了基于成功回合的转移权重和历史感知控制，损失函数设计为适应DPO训练，确保在推理时的有效性与一致性。具体的网络结构和参数设置在实验中经过细致调优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ToolGraph在375个tau2-bench任务中将加权平均奖励从0.304提升至0.338，提升幅度为11.2%。而ToolGraph+DPO的表现更为突出，达到0.355，相较于基线提升了16.8%，尤其在航空和零售领域的增益显著。
🎯 应用场景
该研究的潜在应用领域包括智能客服、自动化助手和复杂任务管理系统。通过提升多轮工具调用的效率和准确性，能够在航空、零售等行业中实现更高效的客户服务和资源管理，未来可能推动更多智能代理的实际应用。
📄 摘要（原文）
Multi-turn tool-using agents must coordinate long-horizon tool sequences while tracking dialogue state and policy constraints. Existing approaches often separate inference-time orchestration from parameter-level learning, leaving tool selection weakly structured and preference updates vulnerable to train--deployment prompt mismatch. For within-benchmark self-improvement, ToolGraph combines schema-derived topology, transition weights estimated from successful rollouts, and history-aware controls for write prerequisites and repeated-search loops. We then construct 161 preference pairs by locating divergence points via state-based matching and prefix-based alignment, filtered through action-correctness annotations, and train DPO under the same ToolGraph context used at inference. Across 375 tau2-bench tasks, ToolGraph raises the weighted average reward from 0.304 to 0.338 (+11.2% relative), while ToolGraph+DPO reaches 0.355 (+16.8% over the baseline), with the DPO gain concentrated in airline and retail. Fine-grained diagnostics further show that roughly half of telecom trajectories exhaust the step budget before action execution and that chosen reward positivity is the most useful checkpoint signal across our 16 evaluated DPO configurations.