Surprise Alone Learns Lies: Evidence-Gated Continual Learning for LLMs from Streaming Claims

📄 arXiv: 2610.39840v1 📥 PDF

作者: Abdelkader Metales, Miriam Grabenheinrich

分类: cs.LG, cs.CL, cs.CR

发布日期: 2026-10-29

备注: 21 pages, 5 figures. Code: https://github.com/Metalesaek/sura-metales

💡 一句话要点

提出证据门控持续学习方法以解决大语言模型中的谎言学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大语言模型 谎言识别 验证器 证据路由 信息安全 机器学习

📋 核心要点

  1. 现有的持续学习方法在处理谎言时存在安全隐患，容易吸收虚假信息。
  2. 论文提出通过引入验证器和证据路由机制来过滤谎言，提高学习的准确性。
  3. 实验表明，使用验证器和证据路由的系统在谎言识别和学习效率上显著优于传统方法。

📝 摘要（中文）

持续学习方法在大语言模型中越来越依赖于惊讶度来决定学习内容，但当输入流中包含谎言时，这种方法是不安全的。论文研究了LoRA适应的学生模型在真实与虚假声明流中的表现，发现引入验证器可以有效去除谎言，且模型自身的先验知识能够识别与已知事实相矛盾的声明。实验结果显示，结合可信来源的证据路由能够降低学习中的谎言吸收率，提升系统的整体性能。

🔬 方法详解

问题定义：论文要解决的问题是大语言模型在持续学习中如何安全地处理谎言。现有方法依赖惊讶度来选择学习内容，导致模型容易吸收虚假信息，尤其是在输入流中包含谎言时。

核心思路：论文的核心思路是引入验证器来判断声明的真实性，并通过证据路由机制来过滤谎言，从而提高模型的学习安全性和准确性。这样的设计旨在减少模型对虚假信息的吸收。

技术框架：整体架构包括三个主要模块：输入流处理、验证器判断和证据路由。输入流处理模块负责接收和预处理声明，验证器模块对每个声明进行真实性判断，证据路由模块则根据可信来源对声明进行分类和处理。

关键创新：最重要的技术创新点在于引入了验证器和证据路由机制，这与现有方法的本质区别在于，现有方法通常不考虑谎言的过滤，而是单纯依赖惊讶度。

关键设计：关键设计包括验证器的准确性对谎言去除的影响，以及证据路由在处理矛盾声明时的有效性。论文中还探讨了模型的先验知识如何帮助识别与已知事实相矛盾的声明。具体参数设置和损失函数的设计在实验部分进行了详细说明。

📊 实验亮点

实验结果显示，使用验证器的系统在谎言识别方面的AUC值达到0.78-0.83，显著优于传统方法。同时，结合证据路由的系统在谎言吸收率上表现出最低的毒化率，尤其在攻击者植入30%谎言时，系统仍能保持较高的学习效率。

🎯 应用场景

该研究的潜在应用领域包括信息验证、社交媒体内容监控和智能问答系统。通过提高大语言模型在处理虚假信息时的安全性和准确性，能够有效防止谣言传播，提升用户信任度，具有重要的社会价值和实际影响。

📄 摘要（原文）

Continual learning methods for large language models increasingly decide what to learn by surprise, keeping the inputs the model finds least predictable. This rule is unsafe when the stream contains lies. A planted falsehood about something the model knows has low probability under the model's belief, so it is highly surprising by construction, and a surprise-driven learner absorbs nearly every such lie, at a rate similar to random selection with the same budget. We study the problem with LoRA-adapted students (Qwen2.5-1.5B, Qwen2.5-3B and Llama-3.2-3B) that learn from a stream of true and false claims about invented people and real CounterFact facts. We report four findings. (1) A verifier key, a judge that must approve each claim, removes lies to the extent that its verifier is accurate; real LLM judges are cautious and reject unsourced truths and even source-backed updates. (2) Calibrated regression tests on unrelated knowledge slow learning down without filtering out lies. (3) The original model's own prior flags claims that contradict what it knows, without a judge. It separates lies about known facts from true new facts (AUC 0.78-0.83 across three models) but not from legitimate updates of the same kind of fact (AUC 0.53). It saves 43% of judge calls, but an attacker with access to the model can choose lies that pass it. (4) If trusted sources exist that an attacker cannot plant, routing contradicted claims to evidence recovers legitimate updates and the combined system has the lowest poison rate among learned claims; when an attacker plants matching sources for 30% of the lies, the system ends up worse than the judge alone. The acceptance signals answer different questions, and none of them decides on its own whether a claim is true.