ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing

📄 arXiv: 2606.12342v1 📥 PDF

作者: Chirag Chawla, Pratinav Seth, Vinay Kumar Sankarapu

分类: cs.CL, cs.AI, cs.ET, cs.LG

发布日期: 2026-06-10

💡 一句话要点

提出ALIGNBEAM以解决跨词汇模型安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 安全性对齐 跨词汇模型 推理时防御 大型语言模型 对抗性测试

📋 核心要点

  1. 现有的推理防御方法要求模型共享词汇，这限制了在跨家族模型中的应用，导致安全性降低。
  2. ALIGNBEAM通过逐步翻译锚模型的logits为目标模型的词汇，解决了跨词汇模型的安全性问题。
  3. 实验结果显示，ALIGNBEAM在对抗性基准测试中显著提高了拒绝率，同时保持了任务的准确性。

📝 摘要（中文）

域微调会降低大型语言模型的安全性，尤其是在特定领域语言中，微调后的模型容易受到有害提示的影响。现有的推理时防御方法要求安全锚模型与目标模型共享词汇，这限制了在跨家族模型中应用。本文提出ALIGNBEAM，一种无训练的方法，通过逐步将锚模型的logits翻译为目标模型的词汇，从而消除了这一限制。小型语言模型评估器选择K个候选继续中的最安全选项。实验结果表明，ALIGNBEAM在对抗性基准测试中显著提高了拒绝率，同时保持了任务准确性和推理开销在可接受范围内。

🔬 方法详解

问题定义：本文解决的问题是如何在不改变模型权重的情况下，提高跨词汇模型的安全性。现有方法依赖于共享词汇，限制了其在不同模型家族中的应用，导致安全性降低。

核心思路：ALIGNBEAM的核心思路是通过逐步将锚模型的logits翻译为目标模型的词汇，从而实现安全性对齐。该方法不需要对模型进行再训练，且在部署时可以调节安全性与效用的权衡。

技术框架：ALIGNBEAM的整体架构包括两个主要模块：锚模型和目标模型。首先，在每个解码步骤中，锚模型的logits被逐步翻译为目标模型的词汇；然后，使用小型语言模型评估器选择最安全的候选输出。

关键创新：ALIGNBEAM的最大创新在于其训练自由性和跨词汇能力，能够在不同模型家族之间转移安全性，而无需修改任何模型的权重。这一设计使得安全性对齐在推理时成为可能。

关键设计：在设计上，ALIGNBEAM使用了小型语言模型作为评估器，并通过翻译机制实现了logits的混合。该方法的参数设置和损失函数设计确保了在保持任务准确性的同时，提高了对抗性拒绝率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ALIGNBEAM在对抗性基准测试中显著提高了拒绝率，尤其是在跨词汇评估对比中，拒绝率提升幅度达到XX%。同时，任务准确性保持在XX%以上，推理开销控制在可接受范围内，显示出良好的实用性。

🎯 应用场景

ALIGNBEAM的研究成果在多个领域具有潜在应用价值，尤其是在需要高安全性的对话系统、内容生成和自动回复等场景中。通过提高模型的安全性，能够有效防止有害内容的生成，提升用户体验和信任度。未来，该方法可能会影响更多领域的安全性研究与应用。

📄 摘要（原文）

Domain fine-tuning degrades the safety of large language models: fine-tuned specialists readily comply with harmful prompts framed in domain language. Existing inference-time defenses that mix logits from a safe anchor model require both models to share a vocabulary, which rules them out for the cross-family specialists where safety is most degraded. We present ALIGNBEAM, a training-free method that lifts this restriction by translating anchor logits into the target model's vocabulary token-by-token at each decoding step; a small LLM judge then selects the safest among K candidate continuations. No weights are changed, and the safety-utility trade-off can be tuned at deployment without retraining. Across both cross-vocabulary and same-vocabulary evaluation pairs, ALIGNBEAM substantially raises refusal on adversarial benchmarks while keeping task accuracy and inference overhead within practical bounds. The results show that safety alignment can be transferred between model families at inference time, without touching either model's weights.