When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence

📄 arXiv: 2607.28421v1 📥 PDF

作者: Zongheng Guo, Tao Chen, Tianli Li, Mingzhe Cui, Yang Jiao, Lei Xie, Yi Pan, Xiao Hu, Manuela Ferrario

分类: cs.AI

发布日期: 2026-07-30

备注: 25 pages, including references and supplementary material; 3 figures and 19 tables. Code: https://github.com/Zongheng-Guo/When-Derived-Measurements-Mislead

🔗 代码/项目: GITHUB

💡 一句话要点

提出DFOT框架以解决LLM对派生测量的过度信任问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 派生测量 过度信任 大型语言模型 生理传感 数据可靠性 模型评估 医疗决策支持

📋 核心要点

  1. 现有方法在处理派生测量时，LLM往往会过度信任这些数据，导致错误的决策和结果。
  2. 论文提出DFOT框架，通过量化和缓解LLM对派生测量的过度信任，提升模型的可靠性。
  3. 在187名患者的测试中，基线方法在修复和特异性指标上提升了1.82-6.69个百分点，验证了方法的有效性。

📝 摘要（中文）

随着派生测量在大型语言模型（LLM）管道中的应用日益增多，其有效性却依赖于具体实例。本文定义了派生特征过度信任（DFOT），即LLM将这些测量视为直接事实或在无效范围内使用的失败。通过生理传感作为案例研究，本文设计了五个估计量来量化这一链条，并在50,000对PPG-ECG记录上进行了验证。实验结果显示，基线方法在多个修复和特异性指标上有显著提升，DFOT为更强的缓解方法提供了共同评估目标。

🔬 方法详解

问题定义：本文旨在解决LLM在使用派生测量时的过度信任问题，现有方法未能有效识别和修正这些测量的局限性。

核心思路：通过定义DFOT，论文提出了一种新的框架来量化和缓解LLM对派生测量的过度信任，确保模型在使用这些数据时的可靠性。

技术框架：该框架包括五个主要估计量：冲突过度信任率（COTR）、上下文诱导错误率（CIR）、正确修复率（CRR）、证据特定修复边际（ESRM）和效用损害率（UHR），用于全面评估模型性能。

关键创新：DFOT框架的最大创新在于其不依赖于特定的可靠性生成器，能够广泛应用于不同的场景，提供了一种新的评估标准。

关键设计：在实验中，使用了50,000对PPG-ECG记录，采用ECG到PPG的特权蒸馏作为基线，设计了多种指标来量化模型的修复能力和特异性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在187名患者的测试中，基线方法在四个修复和特异性指标上提升了1.82-6.69个百分点，所有配对置信区间均不包含零，显示出DFOT框架的有效性。同时，效用损害率（UHR）增加了0.67个百分点，表明在高可靠性案例中减少了不必要的验证。

🎯 应用场景

该研究的潜在应用领域包括医疗健康监测、智能穿戴设备和其他需要实时数据分析的场景。通过提升LLM对派生测量的信任度，能够有效减少错误决策，提高系统的可靠性和安全性，未来可能对医疗决策支持系统产生深远影响。

📄 摘要（原文）

Derived measurements increasingly enter large language model (LLM) pipelines as direct facts despite their instance-dependent validity. We define derived-feature over-trust (DFOT) as the failure in which a downstream LLM assigns such a measurement the epistemic status of a direct fact or uses it outside its valid scope. Using physiological sensing as a case study, D1 tests acceptance of a PPG-derived rhythm contradicted by offline ECG, whereas D2 tests rejection of an offline-confirmed reliable PPG rhythm under misleading severe history. ECG supplies training supervision and offline reference construction but is never shown to the LLM. Five estimands quantify this chain: conflict over-trust rate (COTR) and context-induced error rate (CIR) characterize D1/D2; correct repair rate (CRR) measures frozen-error repair; evidence-specific repair margin (ESRM) contrasts matched and patient-disjoint shuffled evidence; and utility harm rate (UHR) measures unnecessary verification among HIGH-reliability cases used without verification at baseline. The framework does not depend on a particular reliability generator. We demonstrate it on 50,000 paired PPG-ECG records using ECG-to-PPG privileged distillation as an illustrative baseline and PPG-only inference. On a protocol-locked 187-patient test, the baseline improves four repair and specificity endpoints by 1.82-6.69 percentage points, with all paired confidence intervals excluding zero; UHR increases by 0.67 percentage points (95% CI: -0.4 to +1.7). DFOT provides a common evaluation target for stronger mitigation methods. The code is available at https://github.com/Zongheng-Guo/When-Derived-Measurements-Mislead.