Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering

📄 arXiv: 2608.30319v1 📥 PDF

作者: Jin Gan, Xin Li, Jun Luo

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-08-31

备注: Accepted by EMNLP 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出CREST以解决专用LLM推理时安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理时对齐 安全性提升 隐藏表示调整 专用模型

📋 核心要点

  1. 现有推理时对齐方法在提升安全性时，往往无法有效避免干扰领域能力的问题。
  2. CREST方法通过从指导模型提取安全方向，调整基础模型的隐藏表示，避免了token级别的结构限制。
  3. 实验结果显示，CREST在安全性基准测试中相较于基线提升了最高22.2%。

📝 摘要（中文）

大型语言模型（LLMs）在特定领域的微调应用至关重要。然而，现有的推理时对齐方法在提升安全性方面效果不佳，且可能干扰领域能力。本文提出CREST方法，通过从任意家族的指导模型中提取安全方向，调整基础模型的隐藏表示，避免了基于token的结构限制。CREST在安全性上表现优越，提升幅度可达22.2%。

🔬 方法详解

问题定义：本文旨在解决现有推理时对齐方法在安全性提升过程中，无法有效避免干扰领域能力的问题。现有方法在处理专用LLM时，常常因指导信号的不可靠性导致错误的生成结果。

核心思路：CREST方法的核心思路是通过从任意家族的指导模型中提取安全方向，来调整基础模型的隐藏表示。这种设计旨在避免token级别的结构限制，从而更有效地提升安全性。

技术框架：CREST的整体架构包括三个主要模块：基础模型、指导模型和安全方向提取模块。首先，基础模型生成初步输出，然后通过指导模型提取安全方向，最后调整基础模型的隐藏表示以增强安全性。

关键创新：CREST的主要创新在于其通过隐藏表示的调整来实现推理时对齐，避免了传统方法中token级别的干扰。这一方法使得安全性提升与领域能力的保持得以兼顾。

关键设计：在CREST中，关键设计包括安全方向的提取算法和隐藏表示的调整机制。具体的参数设置和损失函数设计确保了模型在推理时的高效性和准确性。通过这些设计，CREST能够在不显著增加计算负担的情况下，提升模型的安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CREST在安全性基准测试中表现优异，相较于基线方法提升幅度可达22.2%。这一结果表明，CREST能够有效改善专用LLM的安全性，同时保持其领域特定能力，具有显著的实用价值。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等高风险行业，能够有效提升专用LLM在这些领域的安全性和可靠性。未来，CREST方法可能会在更多领域推广应用，推动安全性与专业能力的平衡发展。

📄 摘要（原文）

Large language models (LLMs) finetuned for specialized domains represent crucial high-impact applications. Inference-time alignment improves safety degraded from specialization finetuning without requiring substantial computational resources, complementing finetuning-based methods with an easy-to-use, plug-and-play solution. However, existing inference-time methods fail to reliably improve safety without disrupting domain capability. We identify the root cause as complementary expertise orthogonality: specialized base models and general-domain guidance models have orthogonal competencies, making the guidance signal unreliable for specialized generation. This primarily manifests as stop token interference, where the guidance model's tendency toward continuation overrides the base model's decision to stop, burying correct answers under guidance-induced continuation. To address this problem, we propose CREST, an inference-time alignment method that steers base model hidden representations using safety directions extracted from a guidance model of any family, avoiding token-level structural limitations entirely. CREST improves safety where specialization has weakened it while preserving both domain-specific capability and the safety of already well-aligned models, outperforming baselines by up to 22.2\% on safety benchmarks. Our code is available at: https://github.com/DecayingSeart/CREST.