DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents

📄 arXiv: 2608.18524v1 📥 PDF

作者: Hangrui Xu, Jiarui Wang, Yang Yang, Chuanbo Zhu, Fangda Chen, Ziqi Wu, Jingming Cai, Yan Song

分类: cs.CL, cs.AI, cs.LG, cs.MA

发布日期: 2026-08-19

💡 一句话要点

提出DART-SD以解决多回合工具调用代理的轨迹模仿问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多回合工具调用 自蒸馏 拓扑感知 策略多样性 智能代理

📋 核心要点

  1. 现有方法依赖完整轨迹模仿，导致策略多样性降低和有效探索受限。
  2. DART-SD通过拓扑引导的局部修正，建模执行过程并引入关键拓扑断点进行恢复参考检索。
  3. 实验表明，DART-SD在复杂的多回合工具调用基准上显著优于传统方法，提升了性能。

📝 摘要（中文）

为大型语言模型（LLMs）赋予多回合工具调用能力是构建自主代理的关键。然而，现有方法依赖于完整轨迹模仿，限制了进展。针对多个无序子目标的任务，最优解空间形成了庞大的组合钻石格。强制将这种丰富的拓扑结构纳入单一轨迹会导致严重的拓扑崩溃，惩罚有效的替代探索并显著降低策略多样性。为此，本文提出DART-SD（钻石拓扑感知检索与自蒸馏调优），该框架将范式从全局强制转变为拓扑引导的局部修正。DART-SD首先将执行过程建模为收敛的交互状态转移图（ISTG），真实捕捉成功和失败探索路径的内在钻石拓扑。在自主回滚过程中，该框架识别关键拓扑断点（CTB）并检索成功支持的恢复参考。最后，我们通过CTB引导的局部监督引入渐进自蒸馏范式，确保训练损失仅在生成的恢复步骤上计算，同时严格保护有效推理前缀不受破坏性梯度更新的影响。实验结果表明，DART-SD显著优于传统的全轨迹基线。

🔬 方法详解

问题定义：本文旨在解决多回合工具调用代理在轨迹模仿中面临的拓扑崩溃问题。现有方法强制将复杂的组合拓扑结构纳入单一轨迹，导致有效探索受限和策略多样性降低。

核心思路：DART-SD的核心思路是通过拓扑引导的局部修正，避免全局强制的弊端。通过建模执行过程为交互状态转移图（ISTG），捕捉成功与失败的探索路径的内在拓扑结构。

技术框架：DART-SD的整体架构包括三个主要模块：首先是ISTG建模，其次是关键拓扑断点（CTB）的识别，最后是基于CTB的恢复参考检索与自蒸馏过程。

关键创新：DART-SD的主要创新在于引入CTB引导的局部监督机制，确保训练损失仅在生成的恢复步骤上计算，从而保护有效推理前缀，避免破坏性梯度更新。

关键设计：在关键设计上，DART-SD采用了特定的损失函数来聚焦于恢复步骤，并设计了ISTG以准确反映探索路径的拓扑特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在复杂的多回合工具调用基准上，DART-SD显著超越传统全轨迹基线，具体表现为在任务成功率和策略多样性上均有显著提升，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自主代理系统、智能助手和复杂任务自动化等。通过提升多回合工具调用的能力，DART-SD能够在更复杂的场景中实现更高效的决策和执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Equipping Large Language Models (LLMs) with multi-turn tool-calling capabilities is essential for building autonomous agents. However, progress is fundamentally limited by the reliance on full-length trajectory imitation. For tasks involving multiple order-independent sub-goals, the optimal solution space forms a vast combinatorial diamond lattice. Forcing this rich topology into monolithic trajectories causes a severe topological collapse, indiscriminately penalizing valid alternative explorations and severely degrading policy diversity. To address this, we propose DART-SD (Diamond-topology Aware Retrieval and Tuning for Self-Distillation), a novel framework that shifts the paradigm from global forcing to topology-guided localized correction. DART-SD first models the execution process as a converging Interaction-State Transition Graph (ISTG), faithfully capturing the inherent diamond topology of successful and failed exploratory paths. During autonomous rollouts, the framework identifies the Critical Topological Breakpoint (CTB) and retrieves success-supported recovery references. Finally, we introduce a progressive self-distillation paradigm through CTB-guided localized supervision, ensuring that the training loss is calculated exclusively on the generated recovery steps while strictly protecting the valid reasoning prefix from destructive gradient updates. Experiments on complex multi-turn tool-calling benchmarks demonstrate that DART-SD significantly outperforms traditional full-trajectory baselines.