Don't Let Me Ask for It: LLMs Show Deficiencies in Active Multi-Turn Information Acquisition for Abductive Inference
作者: Shahrukh Mohiuddin, Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen
分类: cs.CL
发布日期: 2026-08-04
备注: Preprint
💡 一句话要点
提出Alien Abduction游戏以研究LLMs在推理中的信息获取能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 溯因推理 信息获取 假设更新 多轮对话 交互模式 实验研究
📋 核心要点
- 现有大语言模型在溯因推理任务中表现不佳，尤其是在信息获取和假设更新方面存在明显不足。
- 论文提出Alien Abduction游戏，通过不同的交互模式研究模型在信息获取和假设形成过程中的行为。
- 实验结果表明，提前提供证据的成功率高于分步提供，且oracle提供示例时模型表现更佳。
📝 摘要（中文）
论文探讨了大语言模型（LLMs）在进行溯因推理时的信息获取、假设更新及停止决策的能力。通过引入Alien Abduction游戏，研究者分析了不同交互模式下模型的表现。结果显示，提前提供证据的成功率高于分步提供，而在多轮对话中，一些模型在未充分利用证据前就做出承诺，另一些则在未收敛的情况下耗尽轮次。此外，当示例由oracle提供时，模型的成功率更高，但其最终假设与自选证据的一致性较差。这些发现表明，模型可能在选择证据时未能有效区分不同假设，且在验证和修正假设时存在困难。
🔬 方法详解
问题定义：本研究旨在解决大语言模型在溯因推理任务中信息获取和假设更新的不足，尤其是在多轮对话中如何有效利用证据的问题。现有方法往往未能充分利用可用证据，导致推理结果不准确。
核心思路：论文通过设计Alien Abduction游戏，模拟多轮对话场景，研究模型在不同信息提供模式下的表现，旨在揭示模型在推理过程中如何获取和更新信息。
技术框架：整体框架包括多个交互模式，分别为提前提供证据和逐步提供证据。模型在每个模式下进行多轮对话，记录其选择的证据和形成的假设。
关键创新：最重要的创新在于引入了Alien Abduction游戏作为研究工具，系统性地分析了模型在信息获取和假设更新过程中的行为，与传统评估方法相比，提供了更深入的洞察。
关键设计：在实验中，模型的查询选择分为自选和oracle提供两种方式，设计了不同的轮次限制和证据分配策略，以评估模型在不同条件下的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提前提供证据的模型成功率显著高于逐步提供，且在oracle提供示例时，模型的成功率更高。具体而言，某些模型在多轮对话中未能有效利用证据，导致推理结果不理想，这为未来的研究提供了改进方向。
🎯 应用场景
该研究为大语言模型在推理任务中的应用提供了新的视角，尤其是在需要动态信息获取和假设更新的场景，如智能问答系统、对话机器人等。未来，改进的信息获取机制可能提升模型在复杂推理任务中的表现。
📄 摘要（原文）
Abductive reasoning requires forming hypotheses that explain observed evidence and revising them as new evidence becomes available. While large language models (LLMs) are often evaluated on whether they solve abductive reasoning tasks correctly, less is known about how they acquire evidence, update their hypotheses, and decide when to stop. We introduce Alien Abduction game, an interactive probe for studying these behaviours under different interaction modes. The modes vary in whether evidence is provided upfront or across turns, and whether queries are selected by the model or examples are provided by the oracle. Across models, providing evidence upfront leads to higher success rates than distributing it across turns. In multi-turn settings, some models commit before using the available evidence, while others exhaust the turn budget without converging. Models also achieve higher success rates when examples are provided by the oracle than when they select their own queries, although their final hypotheses are more consistent with the evidence they selected. These findings suggest that models may form hypotheses that fit self-selected evidence without sufficiently distinguishing them from alternatives, and may struggle to validate and refine their hypotheses or determine when to stop.