CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving

📄 arXiv: 2404.17729v1 📥 PDF

作者: Pei Chen, Boran Han, Shuai Zhang

分类: cs.CL

发布日期: 2024-04-26

备注: Accepted to NAACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoMM框架以提升LLMs在复杂科学问题上的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多智能体系统 推理能力 科学问题解决 协作机制 少量示例提示 角色扮演

📋 核心要点

  1. 现有大型语言模型在处理复杂科学问题时的推理能力有限，难以满足实际需求。
  2. 提出的CoMM框架通过让LLMs扮演不同角色并协作解决问题，利用多推理路径提升推理效果。
  3. 实验证明该方法在两个大学级科学问题上显著优于现有基线，展示了其有效性和实用性。

📝 摘要（中文）

大型语言模型（LLMs）在传统自然语言任务和基础推理任务中表现出色，但在解决复杂科学问题时能力仍然有限。本文提出了一种协作多智能体、多推理路径（CoMM）提示框架，旨在提升LLMs的推理能力。具体而言，我们让LLMs在问题解决团队中扮演不同角色，并鼓励不同角色的智能体协同解决目标任务。研究发现，为不同角色应用不同的推理路径是一种有效的策略，能够在多智能体场景中实现少量示例提示方法。实验证明，该方法在两个大学级科学问题上优于竞争基线。进一步分析表明，独立提示LLMs扮演不同角色或专家的必要性。代码已发布在：https://github.com/amazon-science/comm-prompt。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂科学问题推理中的局限性，现有方法往往无法有效处理多角色协作和复杂推理路径的问题。

核心思路：通过设计协作多智能体的框架，LLMs被提示扮演不同角色，利用多条推理路径共同解决问题，从而提升推理能力和准确性。

技术框架：CoMM框架包括角色分配、推理路径设计和协作机制三个主要模块。每个角色根据其特定任务应用不同的推理路径，促进信息共享与协作。

关键创新：最重要的创新在于引入了多角色协作和多推理路径的结合，突破了传统单一角色的推理限制，显著提升了LLMs在复杂问题上的表现。

关键设计：在设计中，角色的选择和推理路径的应用是关键，采用了少量示例提示方法，并通过实验验证了不同角色的独立性和协作性对结果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoMM框架在两个大学级科学问题上相较于竞争基线提升了推理准确性，具体性能数据展示了显著的效果改进，验证了多角色协作和多推理路径的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和复杂问题求解等。通过提升LLMs的推理能力，可以更好地支持科学教育和研究，帮助学生和研究人员解决复杂的科学问题，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have shown great ability in solving traditional natural language tasks and elementary reasoning tasks with appropriate prompting techniques. However, their ability is still limited in solving complicated science problems. In this work, we aim to push the upper bound of the reasoning capability of LLMs by proposing a collaborative multi-agent, multi-reasoning-path (CoMM) prompting framework. Specifically, we prompt LLMs to play different roles in a problem-solving team, and encourage different role-play agents to collaboratively solve the target task. In particular, we discover that applying different reasoning paths for different roles is an effective strategy to implement few-shot prompting approaches in the multi-agent scenarios. Empirical results demonstrate the effectiveness of the proposed methods on two college-level science problems over competitive baselines. Our further analysis shows the necessity of prompting LLMs to play different roles or experts independently. We release the code at: https://github.com/amazon-science/comm-prompt