Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation

📄 arXiv: 2509.25204v1 📥 PDF

作者: Jin Li, Zhebo Wang, Tianliang Lu, Mohan Li, Wenpeng Xing, Meng Han

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-09-19

备注: Submitted to IEEE ICASSP 2026

💡 一句话要点

提出Spectral Logit Sculpting (SLS)，通过自适应低秩logit变换控制文本生成，提升LLM可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本生成 大型语言模型 推理优化 奇异值分解 熵 自适应调整 低秩变换

📋 核心要点

  1. 现有基于熵的推理方法计算开销大，且未能有效利用历史token上下文信息。
  2. SLS通过对top-K logits进行SVD分解，自适应地调整logits，从而锐化输出分布。
  3. 实验表明，SLS在数学、编码和科学推理任务中，性能优于现有基线方法。

📝 摘要（中文）

本文提出了一种名为Spectral Logit Sculpting (SLS) 的轻量级推理时优化方法，旨在提高大型语言模型（LLM）的可靠性。SLS通过利用近期logits的谱特性和熵特性，动态地调整token分布。该方法维护一个top-K logits的滑动缓冲区，执行在线奇异值分解（SVD）以识别主导谱方向，并基于熵和logit gap统计信息自适应地重新调整logits，仅在高不确定性时激活。SLS无需更新任何模型参数，即可有效地锐化输出分布，同时保持上下文一致性。在多个公共基准测试上的实验结果表明，SLS始终优于现有的基线方法，在数学、编码和科学推理任务中实现了卓越的准确性。

🔬 方法详解

问题定义：现有基于熵的LLM推理方法，如熵最小化技术，存在计算开销过高的问题，并且在利用历史token上下文信息方面存在不足，导致生成结果的可靠性受限。

核心思路：SLS的核心思路是利用近期logits的谱特性（通过SVD分解提取主导方向）和熵特性（衡量不确定性），动态地调整token分布。通过自适应地重新调整logits，使得模型在不确定性较高时能够更集中地选择置信度高的token，从而提高生成结果的质量和可靠性。

技术框架：SLS主要包含以下几个阶段：1) 维护一个滑动窗口，存储最近生成的top-K logits；2) 对滑动窗口内的logits执行奇异值分解（SVD），提取主导谱方向；3) 基于logits的熵和logit gap统计信息，计算自适应的缩放因子；4) 根据缩放因子，重新调整logits，从而锐化输出分布。整个过程在推理时进行，无需更新模型参数。

关键创新：SLS的关键创新在于其动态性和自适应性。它不是静态地调整logits，而是根据logits的谱特性和熵特性，动态地计算缩放因子，并自适应地调整logits。这种方法能够更好地适应不同的上下文和任务，从而提高生成结果的质量。此外，SLS的计算开销较低，可以在推理时实时进行。

关键设计：SLS的关键设计包括：1) 滑动窗口的大小K，决定了考虑的历史token上下文信息的范围；2) SVD分解的截断维度，决定了提取的主导谱方向的数量；3) 熵阈值和logit gap阈值，用于判断不确定性是否足够高，从而激活logits的重新调整；4) 缩放因子的计算方式，决定了logits的调整幅度。这些参数需要根据具体的任务和数据集进行调整，以达到最佳的性能。

📊 实验亮点

SLS在多个公共基准测试中取得了显著的性能提升。例如，在数学推理任务中，SLS的准确率超过现有基线方法，提升幅度达到显著水平。此外，SLS在编码和科学推理任务中也表现出优越的性能，证明了其在不同领域的泛化能力。实验结果表明，SLS是一种有效的、通用的LLM推理时优化方法。

🎯 应用场景

SLS可应用于各种需要高可靠性文本生成的场景，例如：代码生成、数学推理、科学文献撰写等。通过提高生成结果的准确性和一致性，SLS可以提升LLM在这些领域的应用价值，并减少人工干预的需求。未来，SLS可以进一步扩展到其他模态的生成任务中，例如图像生成、音频生成等。

📄 摘要（原文）

Entropy-based inference methods have gained traction for improving the reliability of Large Language Models (LLMs). However, many existing approaches, such as entropy minimization techniques, suffer from high computational overhead and fail to leverage historical token context effectively. To address these limitations, we propose Spectral Logit Sculpting (SLS), a lightweight inference-time optimization method that dynamically modulates token distributions using spectral and entropic properties of recent logits. SLS maintains a sliding buffer of top-K logits, performs on-the-fly Singular Value Decomposition (SVD) to identify dominant spectral directions, and adaptively rescales logits based on both entropy and logit gap statistics--only activating when uncertainty is high. Without updating any model parameters, SLS effectively sharpens the output distribution while preserving contextual consistency. Experimental results on multiple public benchmarks demonstrate that SLS consistently outperforms existing baseline methods, achieving superior accuracy in mathematical, coding, and scientific reasoning tasks.