Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models

📄 arXiv: 2402.03271v3 📥 PDF

作者: Zhiyuan Hu, Chumin Liu, Xidong Feng, Yilun Zhao, See-Kiong Ng, Anh Tuan Luu, Junxian He, Pang Wei Koh, Bryan Hooi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-05 (更新: 2024-11-13)

备注: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出不确定性思维算法以增强大语言模型的信息获取能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性感知 信息获取 大语言模型 奖励机制 主动学习 医疗诊断 故障排除

📋 核心要点

  1. 现有方法在面对不确定性时，缺乏有效的主动信息获取能力，导致任务完成率低。
  2. 本文提出的不确定性思维（UoT）算法，通过模拟未来场景和奖励机制，增强模型提问能力。
  3. 实验结果显示，UoT在多个任务上实现了38.1%的成功率提升，并提高了提问效率。

📝 摘要（中文）

在面对不确定性时，主动获取信息的能力至关重要。许多实际应用中，解决任务所需的信息并非一开始就具备，而需要通过提问主动寻求。本文提出不确定性思维（UoT）算法，旨在增强大语言模型通过有效提问主动获取信息的能力。UoT结合了不确定性感知的模拟方法、基于信息增益的奖励机制以及奖励传播方案，以选择最优提问，从而最大化预期奖励。在医疗诊断、故障排除和‘20个问题’游戏的实验中，UoT在多个大语言模型上实现了38.1%的任务成功率提升，并提高了完成任务所需的问题数量效率。代码已公开。

🔬 方法详解

问题定义：本文旨在解决大语言模型在面对不确定性时，缺乏主动获取信息的能力，导致任务完成率低的问题。现有方法通常依赖于直接提示，未能有效利用模型的潜力。

核心思路：UoT算法通过引入不确定性感知的模拟方法，结合基于信息增益的奖励机制，鼓励模型主动提问，从而获取更多信息以提高任务完成率。

技术框架：UoT的整体架构包括三个主要模块：不确定性感知模拟模块、奖励计算模块和最优提问选择模块。模型首先模拟可能的未来场景，计算每种场景的发生概率，然后根据信息增益计算奖励，最后选择最优问题进行提问。

关键创新：UoT的核心创新在于将不确定性感知与奖励机制结合，形成了一种新的信息获取策略。这与传统方法的直接提示方式有本质区别，后者未能充分利用模型的潜力。

关键设计：在设计中，UoT使用了基于信息增益的奖励函数，确保模型在提问时能够最大化获得的信息。此外，奖励传播方案的引入，使得模型能够有效选择最优问题，提升整体效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UoT在医疗诊断、故障排除和‘20个问题’游戏中，成功率平均提升38.1%。此外，UoT还显著提高了完成任务所需的问题数量，展示了其在信息获取方面的高效性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、故障排除和人机交互等场景。在这些领域，主动获取信息能够显著提高决策质量和效率，未来可能推动智能助手和自动化系统的发展，提升用户体验和工作效率。

📄 摘要（原文）

In the face of uncertainty, the ability to seek information is of fundamental importance. In many practical applications, such as medical diagnosis and troubleshooting, the information needed to solve the task is not initially given and has to be actively sought by asking follow-up questions (for example, a doctor asking a patient for more details about their symptoms). In this work, we introduce Uncertainty of Thoughts (UoT), an algorithm to augment large language models with the ability to actively seek information by asking effective questions. UoT combines 1) an uncertainty-aware simulation approach which enables the model to simulate possible future scenarios and how likely they are to occur, 2) uncertainty-based rewards motivated by information gain which incentivizes the model to seek information, and 3) a reward propagation scheme to select the optimal question to ask in a way that maximizes the expected reward. In experiments on medical diagnosis, troubleshooting, and the 20 Questions game, UoT achieves an average performance improvement of 38.1% in the rate of successful task completion across multiple LLMs compared with direct prompting and also improves efficiency (i.e., the number of questions needed to complete the task). Our code has been released here