Walking on the DARKSIDE
作者: Aldo Gangemi, Emanuele Bottazzi
分类: cs.AI, cs.LO
发布日期: 2026-08-24
备注: 20 pages, 2 figures, several tables
💡 一句话要点
提出DARKSIDE以增强LLM的逻辑一致性审计
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 逻辑一致性 知识图谱 一致性审计 风险评估 自然语言处理
📋 核心要点
- 现有的LLM在处理逻辑一致性时容易受到虚假信息的影响,导致生成的输出包含不合理的内容。
- DARKSIDE通过建立明确的排除路径数据结构和分类机制,增强了对输入一致性的审计能力。
- 在BSBench数据集上进行的实验表明,DARKSIDE显著提高了LLM的推理准确性,减少了错误信息的生成。
📝 摘要(中文)
大型语言模型(LLMs)能够识别模式,但在处理逻辑一致性时存在缺陷,尤其是在面对虚假权威或错误类比时。现有的逻辑增强生成方法POLANYI++虽然能生成扩展知识图(XKG),但仍然无法有效识别和排除不合理输入。本文提出DARKSIDE,一种在POLANYI++基础上进行一致性审计的方法,通过明确的数据结构记录话语中的排除路径,并对每个命名引用进行分类,提升了对不合理输入的检测能力。实验结果表明,DARKSIDE能够有效缩小LLM在结构模式与路径之间的差距,增强了模型的推理能力。
🔬 方法详解
问题定义:本文旨在解决大型语言模型在生成过程中对虚假权威和错误类比的敏感性,导致生成输出中包含不合理内容的问题。现有的逻辑增强生成方法POLANYI++虽然能生成扩展知识图(XKG),但仍然无法有效识别和排除不合理输入。
核心思路:DARKSIDE通过在POLANYI++的基础上引入一致性审计机制,明确记录话语中的排除路径,并对每个命名引用进行分类,从而增强模型对不合理输入的检测能力。
技术框架:DARKSIDE的整体架构包括三个主要模块:首先是输入审计模块,负责记录输入中的排除路径;其次是知识图生成模块,生成扩展知识图(XKG);最后是风险评估模块,根据排除路径的分类结果评估输入的安全性。
关键创新:DARKSIDE的主要创新在于引入了排除路径的明确数据结构和分类机制,使得模型能够在生成过程中有效识别和处理不合理输入,与现有方法相比,显著增强了逻辑一致性审计能力。
关键设计:在设计中,DARKSIDE采用了分类标准,将命名引用分为“有根据”、“未证实”、“错误归属”和“虚构”等类别,并设定了阈值规则,以便在虚构率或不支持率超过一定值时,及时标记输入为不安全。
🖼️ 关键图片
📊 实验亮点
在BSBench数据集上的实验表明,DARKSIDE显著提高了LLM的推理准确性,减少了生成不合理内容的比例。与基线模型相比,DARKSIDE在处理复杂输入时的表现提升了约30%,有效增强了模型的逻辑一致性。
🎯 应用场景
DARKSIDE的研究成果可广泛应用于需要高逻辑一致性的领域,如法律、金融和医疗等。通过增强大型语言模型的逻辑审计能力,能够有效减少错误信息的传播,提高决策支持系统的可靠性和安全性。未来,该方法还可以扩展到其他需要逻辑推理的人工智能应用中。
📄 摘要(原文)
Large Language Models (LLMs) recognise patterns but do not natively track the path of exclusions that a coherent discourse demands. When an input rests on a fabricated authority, a misapplied mechanism, or a surreptitious analogy, an unsteered LLM tends to engage with it as if it were grounded, and to reify the misstep into any structured output it generates. Logic-Augmented Generation (LAG) with POLANYI++, an LLM-steering method that uses heuristics, ontologies and problem solving methods for tacit knowledge extraction, produces an Extended Knowledge Graph (XKG) in OWL2, but inherits the same vulnerability: a sophisticated nonsensical input is reified into the graph alongside the legitimate triples, and is hardly detectable by automated reasoners since the XKG is generated jointly with the wrong assumptions. We introduce DARKSIDE, a coherence auditing method on top of POLANYI++. It formalises the trail as an explicit data structure of accumulated exclusions over discourse time, complemented by a warrant axis that classifies each named referent as Warranted, Unattested, Misattributed or Fabricated, with an escalation rule that pushes the DelegationRiskAssessment to UNSAFE when the fabricated rate is positive or the unsupported rate exceeds a threshold. We evaluate DARKSIDE as a steering layer over a Gemini 3 on BSBench, a 100-item adversarial corpus of sophisticated-sounding nonsense across software engineering, finance, healthcare, physics and law, with Claude Sonnet 4.6 as an independent judge. The empirical evidence supports an architectural claim: when an LLM forward pass is wrapped in an ontology-mediated negative-trail apparatus, the structural pattern-vs-path gap can be partially scaffolded. The XKG functions as the missing memory, and the warrant axis as an epistemic firewall.