Heaviside Continuity of Rolling Coefficients for Eliminating Epistemic Entropy in Large Language Models

📄 arXiv: 2607.04562v1 📥 PDF

作者: MY Pitsane, Hope Mogale

分类: cs.AI, cs.NE

发布日期: 2026-07-06

备注: A First draft

💡 一句话要点

提出HCRC框架以消除大型语言模型中的认知熵问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知熵 推理验证 Heaviside Gate 软件工程 自动化推理 并行工作者 执行控制

📋 核心要点

  1. 现有大型语言模型在生成输出时容易出现错误，且缺乏有效的中间推理验证机制，导致错误难以检测。
  2. HCRC框架通过引入Heaviside Gate，将推理过程重构为受谓词控制的状态转移，确保只有在满足正确性条件时才推进执行。
  3. 实验结果显示，HCRC在强大提议者上将错误完成率从4-7%降低至0%，并在某些情况下比传统模型更快，表现出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）生成流畅的输出，但常常存在错误。与人类不同，LLMs在提供错误信息时缺乏明显的提示，导致错误难以检测。本文提出了Heaviside Continuity of Rolling Coefficients（HCRC）框架，通过将推理重构为由Heaviside Gate控制的谓词门控状态转移，优先进行验证。HCRC结合模型置信度与来自并行工作者架构的独立验证信号，仅在满足预定义的正确性谓词时推进执行，从而防止无效中间状态的传播，降低认知熵。实验结果表明，HCRC在多个软件工程和推理任务中显著降低了错误完成率，并在某些设置下比未包装模型更快。HCRC已在生产环境中运行数月，展现出其作为验证驱动的LLM执行通用框架的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成过程中出现的错误传播问题。现有方法缺乏有效的中间推理验证机制，导致错误输出难以检测和纠正。

核心思路：HCRC框架的核心思想是将推理过程重构为受谓词控制的状态转移，通过引入Heaviside Gate，确保只有在满足预定义的正确性条件时才推进执行，从而降低认知熵。

技术框架：HCRC的整体架构包括模型置信度评估模块、并行工作者架构和Heaviside Gate控制机制。执行流程首先评估模型输出的置信度，然后通过并行工作者进行独立验证，最后根据验证结果决定是否推进状态转移。

关键创新：HCRC的主要创新在于引入了Heaviside Gate作为控制机制，允许在推理过程中进行验证，防止无效中间状态的传播。这一设计与传统的自回归解码方法形成了本质区别。

关键设计：HCRC在参数设置上采用了多层次的验证机制，损失函数设计上注重对错误状态的惩罚，同时网络结构上结合了并行工作者的独立验证信号，以增强整体的执行可靠性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，HCRC在强大提议者上将错误完成率从4-7%降低至0%，在某些情况下比未包装模型更快，展现出其在性能和效率上的显著提升。此外，HCRC在实际生产环境中运行数月，证明了其稳定性和可靠性。

🎯 应用场景

HCRC框架具有广泛的应用潜力，特别是在需要高可靠性的自动化推理和软件工程任务中。其能够有效降低错误传播，提升系统的整体稳定性和可信度，未来可在智能助手、自动编程和决策支持系统等领域发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) generate fluent outputs that can be wrong. Unlike humans, who often exhibit cues when providing false information, LLMs produce errors that are difficult to detect because autoregressive decoding provides no mechanism for verifying intermediate reasoning before state progression. We introduce Heaviside Continuity of Rolling Coefficients (HCRC), a verification-first execution framework that reformulates inference as predicate-gated state transitions governed by a Heaviside Gate. HCRC combines model confidence with independent verification signals from a parallel worker architecture, allowing execution to advance only when predefined correctness predicates are satisfied. This prevents invalid intermediate states from propagating, reducing epistemic entropy without modifying the underlying model. We evaluate HCRC on software-engineering and reasoning tasks across thirteen proposers from four providers. On capable proposers, the gate reduces the false-completion rate (FCR) from 4--7% to 0% while remaining latency-competitive and, in some settings, faster than the unwrapped model. On weaker proposers, it converts false completions into honest halts instead of corrupting downstream state. Beyond benchmarking, HCRC has operated for months as the production control plane of an agentic coding environment, authorizing file mutations, verification-driven progress reporting, and memory compaction. These results establish HCRC as a general framework for verification-driven LLM execution, showing that reliable reasoning can be achieved through principled execution control rather than model scale alone.