TravelPlanner: A Benchmark for Real-World Planning with Language Agents
作者: Jian Xie, Kai Zhang, Jiangjie Chen, Tinghui Zhu, Renze Lou, Yuandong Tian, Yanghua Xiao, Yu Su
分类: cs.CL
发布日期: 2024-02-02 (更新: 2024-10-23)
备注: ICML 2024 (Spotlight)
💡 一句话要点
提出TravelPlanner以解决复杂旅行规划问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 旅行规划 语言代理 基准测试 人工智能 复杂任务 数据驱动 评估机制
📋 核心要点
- 现有的语言代理在处理复杂的旅行规划任务时表现不佳，成功率极低，无法有效使用工具和管理多个约束条件。
- 本文提出TravelPlanner基准，专注于旅行规划，提供丰富的数据和规划意图，以评估语言代理的能力。
- 实验结果表明，当前语言代理在复杂任务中的表现仍有待提高，尤其是在任务跟踪和信息收集方面。
📝 摘要（中文）
规划一直是人工智能的核心追求之一，但早期的AI代理主要集中在受限环境中。最近，基于大型语言模型的语言代理展现出工具使用和推理等能力。为此，本文提出了TravelPlanner，一个专注于旅行规划的新基准，提供丰富的沙盒环境、近四百万条数据记录和1225个精心策划的规划意图及参考计划。综合评估显示，当前语言代理在处理复杂规划任务时尚显不足，甚至GPT-4的成功率仅为0.6%。尽管如此，语言代理能够尝试解决如此复杂的问题本身就是一项非凡的进展。TravelPlanner为未来的语言代理提供了一个具有挑战性且有意义的测试平台。
🔬 方法详解
问题定义：本文旨在解决语言代理在复杂旅行规划任务中的不足，现有方法在处理多约束和信息收集方面存在显著挑战。
核心思路：通过构建TravelPlanner基准，提供一个丰富的数据环境和多样化的规划意图，以评估和推动语言代理在复杂规划中的能力。
技术框架：TravelPlanner包含多个模块，包括数据访问工具、规划意图库和评估机制，整体流程从任务定义到结果评估。
关键创新：TravelPlanner的创新在于其专注于真实世界的旅行规划场景，并提供了大量的真实数据和复杂的任务设置，超越了以往的AI规划基准。
关键设计：在设计上，TravelPlanner使用了精心策划的规划意图和参考计划，确保评估的全面性和准确性，同时提供了多种工具以支持信息收集。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前语言代理在处理复杂旅行规划任务时的成功率仅为0.6%，表明其在任务跟踪和信息收集方面存在显著不足。这一发现为未来的研究指明了方向，强调了提升语言代理能力的必要性。
🎯 应用场景
该研究的潜在应用领域包括智能旅行助手、个性化旅游规划和自动化行程安排等。通过提升语言代理在复杂规划中的能力，TravelPlanner有望推动智能助手在实际应用中的广泛使用，提升用户体验和效率。
📄 摘要（原文）
Planning has been part of the core pursuit for artificial intelligence since its conception, but earlier AI agents mostly focused on constrained settings because many of the cognitive substrates necessary for human-level planning have been lacking. Recently, language agents powered by large language models (LLMs) have shown interesting capabilities such as tool use and reasoning. Are these language agents capable of planning in more complex settings that are out of the reach of prior AI agents? To advance this investigation, we propose TravelPlanner, a new planning benchmark that focuses on travel planning, a common real-world planning scenario. It provides a rich sandbox environment, various tools for accessing nearly four million data records, and 1,225 meticulously curated planning intents and reference plans. Comprehensive evaluations show that the current language agents are not yet capable of handling such complex planning tasks-even GPT-4 only achieves a success rate of 0.6%. Language agents struggle to stay on task, use the right tools to collect information, or keep track of multiple constraints. However, we note that the mere possibility for language agents to tackle such a complex problem is in itself non-trivial progress. TravelPlanner provides a challenging yet meaningful testbed for future language agents.