Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
作者: Quang Minh Nguyen, Luis Frentzen Salim
分类: cs.CL
发布日期: 2026-08-18
备注: In submission
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于表达方式的信念与事实处理方法以提升LLM性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 信念处理 事实检查 用户交互 自然语言处理
📋 核心要点
- 现有的LLMs在处理用户信念时存在系统性弱点，尤其是当信念基于错误信息时，模型难以准确承认这些信念。
- 论文提出通过分析不同动词表达的信念，揭示信念与事实处理的相互影响，并提出相应的调整策略以改善模型表现。
- 实验结果显示，模型在不同动词下的准确率差异显著，某些表达方式的准确率提升可达50%，而其他则可能导致准确率下降。
📝 摘要（中文）
人类在日常交流中自然形成并表达信念，例如"我认为答案是3"或"我想这没错"。这些信念与事实和知识交织在一起，使得大型语言模型（LLMs）在用户交互中能够同时处理信念和事实变得尤为重要。先前的研究表明，即使是能力强大的LLMs在承认基于错误信息的用户信念时存在系统性弱点。我们对10个LLMs在18种认知表达下进行了扩展评估，发现这种弱点的大小和方向依赖于表达信念所用的动词，准确率差距从"我模糊记得"的+50%到"我严重怀疑"的-14%。我们进一步表明，这一现象源于任务混淆：模型默认对基础主张进行事实检查，覆盖用户的信念；显式事实检查的思维链在处理错误信息时准确率低于未进行检查的思维链；单一指令可以逆转动词家族中的失败。我们的发现澄清了先前的结果，并展示了事实检查这一通常期望的行为如何干扰LLMs中的信念追踪。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在处理用户信念与事实时的系统性弱点，尤其是当信念基于错误信息时的表现不佳。现有方法在这一领域的痛点在于模型倾向于优先进行事实检查，忽视用户的主观信念。
核心思路：论文的核心解决思路是通过分析不同动词表达的信念，探讨其对模型处理信念与事实的影响。通过调整模型的响应策略，旨在提高其在用户信念表达下的准确性。
技术框架：整体架构包括对10个LLMs的评估，使用18种不同的认知表达进行实验。主要模块包括信念表达分析、事实检查机制和模型响应调整。
关键创新：最重要的技术创新点在于识别出不同动词对模型表现的影响，并提出通过单一指令调整模型响应的策略。这一方法与现有的单一事实检查方法本质上不同，强调了信念表达的重要性。
关键设计：在实验中，模型的参数设置和损失函数设计均考虑了信念与事实的交互影响，特别是在处理错误信息时的响应策略调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在处理不同动词表达的信念时，准确率差异显著。例如，使用"我模糊记得"的情况下，模型的准确率提升可达50%，而在"我严重怀疑"的情况下，准确率下降至-14%。这些结果强调了表达方式对LLMs性能的关键影响。
🎯 应用场景
该研究的潜在应用领域包括智能助手、在线客服和教育工具等，能够提升LLMs在与用户互动时的准确性和可靠性。通过更好地理解和处理用户信念，模型可以提供更符合用户期望的反馈，从而增强用户体验和信任度。
📄 摘要（原文）
Humans naturally form and express beliefs in daily communication, e.g., "I think the answer is 3" or "I suppose that's right." Such beliefs inevitably intertwine with fact and knowledge, making the ability to handle them in tandem desirable for large language models (LLMs), as they are increasingly deployed in user-facing settings. Prior work showed that even capable LLMs exhibit a systemic weakness in acknowledging user beliefs grounded in incorrect information. We extend this evaluation to 10 LLMs across 18 epistemic expressions and find that the size and direction of the weakness depend on the verb used to express the belief, with the accuracy gap between factual and false information ranging from +50% on "I vaguely remember" to -14% on "I seriously doubt". We further show that the phenomenon stems from task confusion: models default to fact-checking the underlying claim, overriding the user's stated belief; chains of thought that explicitly fact-check show lower accuracy on false information than those that do not; and a single instruction can reverse the failure across verb families. Mechanistically, models attend more to false beliefs they fail to confirm, but suppressing this attention at decoding time recovers accuracy only partially and only in some models, calling for future work on intervention methods. Our findings clarify prior results and show how fact-checking, a generally desirable behavior, can interfere with belief tracking in LLMs. Our code is available at https://github.com/ngqm/belief-fact-phrasing.