Trust Your Guide Only When Certain: Uncertainty-Aware Sparse Alignment at Inference Time

📄 arXiv: 2609.00624v1 📥 PDF

作者: Zeen Zhu, Zhuo Li, Weiyang Guo, Liye Zhao, Haibing Di, Yequan Wang, Jing Li

分类: cs.CL

发布日期: 2026-09-01

备注: Accepted to Findings of EMNLP 2026

💡 一句话要点

提出TUSA以解决推理时稀疏对齐中的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理对齐 不确定性感知 动态仲裁 大型语言模型 模型安全性 稀疏监督 自然语言处理

📋 核心要点

  1. 现有的推理时对齐方法在每个解码步骤都要求监督，导致低置信度干预频繁，影响模型推理效果。
  2. TUSA通过引入不确定性感知仲裁者，动态决定是否进行干预，从而减少不必要的监督干预。
  3. 实验结果显示，TUSA在安全偏好上提升了15.6%，在整体偏好率上提升了12.0%，有效提高了模型性能。

📝 摘要（中文）

在推理时对齐的主流范式中，轻量级监督者用于引导大型语言模型（LLMs）。通过实证分析，本文识别出该范式中的结构性不匹配：弱监督者在大多数标记上表现出普遍的高熵，而现有的密集干预方法要求在每个解码步骤中进行监督。这导致频繁的低置信度干预，干扰基础模型的合理推理并产生显著的效用成本。为此，本文提出了TUSA（基于信任的不确定性稀疏对齐），将对齐重新构建为动态仲裁过程，引入不确定性感知仲裁者，仅在监督者自信且标记语义显著时授权干预。大量实验表明，TUSA在安全对齐和整体有用性方面均有显著提升。

🔬 方法详解

问题定义：本文旨在解决推理时稀疏对齐中的不确定性问题，现有方法在每个解码步骤都进行监督，导致频繁的低置信度干预，影响模型的推理能力和效用。

核心思路：TUSA的核心思路是将对齐过程视为动态仲裁，只有在监督者自信且标记语义显著时才进行干预，从而避免不必要的干预和噪声。

技术框架：TUSA的整体架构包括不确定性感知仲裁者和动态干预机制，首先评估监督者的信心，然后判断标记的语义重要性，最后决定是否进行干预。

关键创新：TUSA的主要创新在于引入了不确定性感知的动态仲裁机制，与现有的密集监督方法相比，能够有效减少低置信度干预，提升模型的推理质量。

关键设计：在设计中，TUSA设置了特定的阈值来评估监督者的信心，并利用语义分析技术来判断标记的重要性，确保干预的高精度和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，TUSA在安全偏好上提升了15.6%，在整体偏好率上提升了12.0%，相较于密集基线，显著提高了模型的性能和实用性，展示了选择性高精度对齐的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够提高模型在复杂任务中的推理能力和安全性。未来，TUSA的机制可能被广泛应用于其他需要动态决策的AI系统中，提升其智能水平和用户体验。

📄 摘要（原文）

A prominent paradigm in inference-time alignment employs lightweight supervisors to steer Large Language Models (LLMs). Through empirical analysis, we identify a structural mismatch in this paradigm: weak supervisors exhibit pervasive high entropy across the vast majority of tokens, yet prevailing dense intervention approaches mandate supervision at every decoding step. This leads to frequent low-confidence interventions that can disrupt valid base-model reasoning and incur substantial utility costs. To resolve this, we propose TUSA (Trust-based Uncertainty Sparse Alignment). Moving away from continuous oversight, TUSA reframes alignment as a dynamic arbitration process, introducing an uncertainty-aware arbiter that authorizes intervention only when two conditions are met: the supervisor is confident and the token is semantically salient. This mechanism effectively filters out uncertainty-driven noise and redundant supervision. Extensive experiments across multiple models and benchmarks show that TUSA consistently improves both safety alignment and general helpfulness. By bypassing approximately 50% of alignment steps, it not only enhances safety preference by up to 15.6%, but also boosts general preference rates by up to 12.0% compared to the dense baseline, demonstrating that selective, high-precision alignment can outperform continuous supervision.