Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization

📄 arXiv: 2606.16111v1 📥 PDF

作者: Junyi Li, Xiaowei Qian, Yingyi Zhang, Wenlin Zhang, Guojing Li, Sheng Zhang, Xiao Han, Yichao Wang, Xiangyu Zhao

分类: cs.CL

发布日期: 2026-06-15

备注: ICML 2026 Spotlight Paper

💡 一句话要点

提出ParetoPO以解决工具集成代理的多目标优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具集成代理 多目标优化 Pareto排名 动态标量化 智能助手

📋 核心要点

  1. 现有的工具集成语言代理对齐方法主要关注任务准确性，忽视了工具使用效率等辅助目标，限制了其实际应用。
  2. 本文提出的ParetoPO框架通过两阶段的多目标优化，动态调整奖励权重并使用Pareto排名促进非支配轨迹的优化。
  3. 实验结果显示，ParetoPO在数学推理和多跳问答任务中，策略的准确性与效率的权衡明显优于传统基线方法。

📝 摘要（中文）

近年来，工具集成语言代理的进展显著提升了其解决复杂推理任务的能力。然而，现有的对齐方法主要集中在最大化任务准确性上，忽视了工具使用效率等辅助目标，这对于实际部署至关重要。为了解决这一问题，本文提出了ParetoPO，一个两阶段的多目标优化框架，用于在竞争目标下对工具使用的大型语言模型进行对齐。在第一阶段，ParetoPO利用超体积引导的动态标量化，根据全局Pareto前沿的进展调整奖励权重。在第二阶段，它用基于Pareto排名的优势计算替代标量化学习信号，通过关注主导关系的信用分配来促进非支配轨迹。这一设计使得在多个冲突目标之间实现细粒度的行动级优化成为可能。实验结果表明，ParetoPO在数学推理和多跳问答任务上，发现的策略在准确性和效率的权衡上优于静态和启发式基线。

🔬 方法详解

问题定义：本文旨在解决工具集成语言模型在多目标优化中的对齐问题，现有方法未能有效兼顾任务准确性与工具使用效率等辅助目标。

核心思路：ParetoPO通过两阶段的优化框架，首先动态调整奖励权重，然后利用Pareto排名进行优势计算，从而实现对多个冲突目标的细粒度优化。

技术框架：ParetoPO的整体架构分为两个主要阶段：第一阶段使用超体积引导的动态标量化调整奖励权重，第二阶段则采用基于Pareto排名的优势计算来优化策略。

关键创新：ParetoPO的核心创新在于引入了超体积引导的动态标量化和Pareto排名优势计算，这与现有方法的静态奖励机制形成了鲜明对比，能够更好地处理多目标优化问题。

关键设计：在设计中，ParetoPO设置了动态调整的奖励权重，采用了基于Pareto前沿的信用分配机制，确保了在多个目标之间的有效平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ParetoPO在数学推理和多跳问答任务中，相较于静态和启发式基线，策略的准确性和效率的权衡显著提升，具体表现为准确性提高了X%，效率提升了Y%。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和复杂任务解决方案等。通过优化工具使用效率和任务准确性，ParetoPO能够在实际应用中提供更高的性能和用户体验，推动智能代理技术的进一步发展。

📄 摘要（原文）

Recent advances in tool-integrated language agents have significantly improved their ability to solve complex reasoning tasks. However, existing alignment methods predominantly focus on maximizing task accuracy, while overlooking auxiliary objectives such as tool-use efficiency, which are essential for practical deployment. To address this gap, we introduce ParetoPO, a two-stage multi-objective optimization framework for aligning tool-using large language models (LLMs) under competing objectives. In the first stage, ParetoPO leverages hypervolume-guided dynamic scalarization to adapt reward weights based on global Pareto frontier progress. In the second stage, it replaces scalarized learning signals with Pareto-ranking-based advantage computation, promoting nondominated trajectories through dominance-aware credit assignment. This design enables fine-grained, action-level optimization across multiple conflicting objectives. Experimental results on mathematic reasoning and multi-hop QA tasks show that ParetoPO consistently discovers policies with superior accuracy-efficiency trade-offs compared to static and heuristic baselines.