Enhance Reasoning for Large Language Models in the Game Werewolf

📄 arXiv: 2402.02330v2 📥 PDF

作者: Shuang Wu, Liwen Zhu, Tao Yang, Shiwei Xu, Qiang Fu, Yang Wei, Haobo Fu

分类: cs.AI, cs.CL

发布日期: 2024-02-04 (更新: 2024-03-29)

💡 一句话要点

提出框架以增强大型语言模型在狼人游戏中的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 社交推理游戏 Thinker模块 强化学习 数据集

📋 核心要点

  1. 现有方法在复杂推理任务中表现不足，尤其是在需要领域知识的社交推理游戏中。
  2. 提出的框架通过将LLM与Thinker模块结合，分别处理直观和复杂推理任务，从而提升推理能力。
  3. 实验结果显示，该框架在演绎推理和语言生成上优于现有基线，且微调后的LLM在性能上超越了GPT4。

📝 摘要（中文）

本文提出了一种创新框架，将大型语言模型（LLMs）与外部思考模块（Thinker）结合，以增强基于LLM的代理的推理能力。与通过提示工程增强LLM不同，Thinker直接利用数据库中的知识，并采用多种优化技术。该框架形成了一个推理层次结构，其中LLM处理直观的系统1任务，如自然语言处理，而Thinker则专注于需要复杂逻辑分析和领域特定知识的系统2任务。我们以9人狼人游戏为例，介绍了LLM与Thinker之间的通信协议，并使用18800个人类会话的数据和强化学习训练Thinker。实验结果表明，该框架在演绎推理、语言生成和在线游戏评估方面的有效性。此外，我们对一个6B LLM进行了微调，使其在与Thinker集成时超越了GPT4。本文还贡献了迄今为止最大的社交推理游戏数据集。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂推理任务中的局限性，尤其是在社交推理游戏中，现有方法往往无法有效处理需要深层逻辑分析的任务。

核心思路：通过引入外部思考模块（Thinker），将推理任务分为直观的系统1任务和复杂的系统2任务，LLM负责前者，而Thinker则处理后者，从而实现更高效的推理能力。

技术框架：整体架构包括LLM和Thinker两个主要模块，LLM负责自然语言处理，Thinker则通过数据库知识和优化技术进行复杂推理。二者之间通过特定的通信协议进行信息交互。

关键创新：最重要的创新在于将推理任务分层处理，LLM与Thinker的协同工作显著提升了推理的准确性和效率，这与传统的单一LLM方法形成鲜明对比。

关键设计：在训练过程中，Thinker使用了来自18800个人类会话的数据，并结合强化学习进行优化，确保其在复杂推理任务中的表现优越。

📊 实验亮点

实验结果表明，提出的框架在演绎推理和语言生成任务中表现优异，微调后的6B LLM在与Thinker集成后超越了GPT4，展示了显著的性能提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括社交推理游戏、智能对话系统和复杂决策支持系统。通过增强推理能力，能够在多种场景中提供更为精准和智能的交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper presents an innovative framework that integrates Large Language Models (LLMs) with an external Thinker module to enhance the reasoning capabilities of LLM-based agents. Unlike augmenting LLMs with prompt engineering, Thinker directly harnesses knowledge from databases and employs various optimization techniques. The framework forms a reasoning hierarchy where LLMs handle intuitive System-1 tasks such as natural language processing, while the Thinker focuses on cognitive System-2 tasks that require complex logical analysis and domain-specific knowledge. Our framework is presented using a 9-player Werewolf game that demands dual-system reasoning. We introduce a communication protocol between LLMs and the Thinker, and train the Thinker using data from 18800 human sessions and reinforcement learning. Experiments demonstrate the framework's effectiveness in deductive reasoning, speech generation, and online game evaluation. Additionally, we fine-tune a 6B LLM to surpass GPT4 when integrated with the Thinker. This paper also contributes the largest dataset for social deduction games to date.