CoBRA: Learning Tool-Use Boundaries via Counterfactual Margins

📄 arXiv: 2609.00967v1 📥 PDF

作者: Wenhao Zou, Xianglong Liu, Wendong Bi, Hanjie Wang, Simin Zhao, Gong Zhi

分类: cs.AI

发布日期: 2026-09-01

备注: Acceptedy by EMNLP2026

💡 一句话要点

提出CoBRA框架以优化工具使用决策

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具使用优化 反事实学习 边界决策 大型语言模型 知识检索

📋 核心要点

  1. 现有方法在工具调用时缺乏对实例级边际效益的明确估计，导致不必要的工具调用和遗漏调用。
  2. CoBRA框架通过构建内部和外部专家，利用反事实边际学习来优化工具使用决策。
  3. 实验表明，CoBRA在工具使用效率和边界敏感的答案准确性上显著提升，同时在工具依赖的分布外问题上保持强劲表现。

📝 摘要（中文）

随着大型语言模型越来越多地通过外部工具进行操作，何时调用工具成为一个核心问题。过多的工具调用会引入延迟、成本、检索噪声和错误传播，而遗漏调用则会影响知识密集型查询的效果。现有方法通常基于绝对查询信号触发工具，缺乏对工具使用边际效益的明确估计。本文提出CoBRA，一个用于工具增强语言模型的反事实边界学习框架，通过构建内部和外部专家，估计使用工具与不使用工具之间的奖励边际，从而优化工具使用决策。实验结果表明，CoBRA在工具使用效率和边界敏感的答案准确性上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在调用外部工具时的决策问题，现有方法往往基于绝对信号触发工具，缺乏对工具使用边际效益的评估，导致效率低下和错误传播。

核心思路：CoBRA框架通过构建内部和外部专家，收集配对轨迹，估计使用工具与不使用工具之间的奖励边际，从而明确工具使用的边界。

技术框架：CoBRA的整体架构包括两个主要模块：首先是专家构建与轨迹收集，其次是基于奖励边际的边界决策优化，采用Boundary-Aware Cold-Start SFT和MARS-RL进行训练。

关键创新：CoBRA的主要创新在于引入反事实边际学习，明确划分内部偏好、外部偏好和模糊案例，从而优化工具调用决策，这与现有方法的绝对信号触发机制形成鲜明对比。

关键设计：在设计上，CoBRA利用清晰边际样本进行冷启动训练，并通过参考分割回放和反事实边际优势来优化决策，确保模型在不同场景下的适应性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoBRA在使用检索作为主要工具的情况下，显著提高了工具使用效率和边界敏感的答案准确性。在Qwen3-4B模型上，CoBRA的表现优于基线方法，尤其在工具依赖的分布外问题上，保持了强劲的性能。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动问答系统和知识检索等。通过优化工具调用决策，CoBRA能够提高系统的响应速度和准确性，降低资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As large language models increasingly act through external tools, deciding when to call a tool has become a central problem alongside deciding how to use it. Unnecessary tool calls introduce latency, cost, retrieval noise, and error propagation, while missed calls hurt knowledge-intensive queries or questions requiring up-to-date evidence. Existing methods typically trigger tools from absolute query or generation signals, such as difficulty, confidence, or final task reward, and therefore lack an explicit estimate of the instance-level marginal benefit of tool use. We propose CoBRA, a counterfactual boundary-learning framework for tool-augmented language models. CoBRA first constructs internal and external experts from the same base model, collects paired trajectories, and estimates the reward margin between answering with and without tools. This margin partitions data into internal-favored, external-favored, and ambiguous cases. CoBRA then uses clear-margin samples for Boundary-Aware Cold-Start SFT, followed by MARS-RL with reference-split rollouts and counterfactual marginal advantages to optimize boundary decisions. Experiments with retrieval as the main tool on Qwen3-4B show that CoBRA improves tool-use efficiency and boundary-sensitive answer accuracy while maintaining strong performance on tool-dependent out-of-distribution questions.