When Text and Numbers Disagree: Evidence Arbitration in Large Language Models
作者: Mattia Carletti, Edward Phillips, Fredrik K. Gustafsson, Patitapaban Palo, Lei Clifton, Danielle Belgrave, Xiao Gu, David A. Clifton
分类: cs.CL
发布日期: 2026-08-20
💡 一句话要点
提出合成基准以解决大语言模型证据仲裁问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 证据仲裁 合成基准 多模态学习 决策支持
📋 核心要点
- 当前大语言模型在处理文本与数值证据时，存在仲裁不一致的问题，影响决策的准确性。
- 本文提出了一个合成基准，通过生成数值时间序列和自然语言摘要，系统性地研究模型的仲裁行为。
- 实验结果显示，模型在仲裁时表现出明显的文本与数字偏好，并且对时间相关性反应更强。
📝 摘要（中文）
随着大语言模型（LLMs）在文本摘要、数值观察和外部工具输出等领域的广泛应用，如何在这些相互矛盾的证据之间进行仲裁成为一个重要问题。本文通过引入一个受控的合成基准，研究LLMs在面对相互对立的证据时的仲裁行为。实验结果表明，模型在文本与数字之间表现出系统性的偏好，且更倾向于依赖时间的相关性而非显式的可靠性提示。这些发现揭示了当前LLMs在整合异构证据时常依赖启发式仲裁策略的局限性，突显了工具增强决策系统的潜在失败模式。
🔬 方法详解
问题定义：本文旨在解决大语言模型在面对文本和数值证据时的仲裁问题。现有方法在处理相互矛盾的证据时，往往缺乏系统性，导致决策不一致。
核心思路：论文通过引入一个受控的合成基准，利用潜在风险轨迹生成数值时间序列和自然语言摘要，以便独立操控证据的模态、时间相关性、来源可靠性和证据来源。
技术框架：整体架构包括生成合成数据的模块、仲裁决策的模型和评估仲裁效果的实验设计。通过对比不同模态的证据，分析模型的仲裁行为。
关键创新：最重要的创新点在于构建了一个可以系统性操控多种因素的合成基准，揭示了模型在仲裁时的偏好和行为模式，这与现有方法的随机性仲裁形成鲜明对比。
关键设计：在实验中，设置了不同的模态组合和时间相关性参数，采用了开放权重的指令调优模型，以确保仲裁行为的可重复性和可靠性。具体的损失函数和网络结构设计未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在仲裁时表现出明显的文本与数字偏好，且对时间相关性反应更强。具体而言，模型在处理相互矛盾的证据时，能够系统性地识别并依赖时间的相关性，而非单纯依赖显式的可靠性提示，这一发现为未来的模型改进提供了重要方向。
🎯 应用场景
该研究的潜在应用领域包括医疗决策支持、金融分析和自动化报告生成等。通过改进大语言模型的证据仲裁能力，可以提高决策的准确性和可靠性，进而在实际应用中减少错误决策的风险，提升用户信任度。
📄 摘要（原文）
Large language models (LLMs) are increasingly used in settings where textual summaries, numerical observations, and external tool outputs may provide conflicting evidence. We study how LLMs arbitrate between such sources when they support opposing decisions. To do so, we introduce a controlled synthetic benchmark in which latent risk trajectories generate both numerical time series and natural language summaries, allowing us to construct conflicts where exactly one evidence source is aligned with the ground-truth label. This design lets us independently manipulate modality, temporal recency, source reliability, and evidence provenance. Across open-weight instruction-tuned models, we find that arbitration behaviour is systematic rather than random: models exhibit distinct text-versus-number preferences, follow temporal recency more consistently than explicit reliability cues, and can over-rely on external forecasts even when they conflict with direct contextual evidence. These results suggest that current LLMs often rely on heuristic arbitration strategies when integrating heterogeneous evidence, highlighting a failure mode for tool-augmented decision systems.