IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies
作者: Nicole Geumheon Liu, Haeun Jang, Yonghyun Jun, Hwanhee Lee
分类: cs.CL
发布日期: 2026-06-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出IHDec以解决多轮指令层次结构冲突问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指令层次结构 多轮对话 Jensen-Shannon散度 对比解码 安全性增强 大型语言模型 无训练方法
📋 核心要点
- 现有方法在多轮对话中无法有效维持指令层次，导致低优先级指令覆盖高优先级指令。
- IHDec通过JSD框架检测层次违规，采用对比解码动态抑制不一致的下级角色，无需训练。
- 实验结果显示，IHDec在多轮冲突中表现优于训练基线，同时增强了对抗性提示注入的安全性。
📝 摘要（中文）
大型语言模型（LLMs）在处理多源输入时，常常无法维持指令层次结构，尤其在优先级冲突时，低优先级指令会覆盖高优先级指令。现有的防御措施主要针对单轮场景，且需要昂贵的微调。本文通过Jensen-Shannon散度（JSD）框架形式化了这一失败模式，揭示了普遍存在的角色影响反转现象。为了解决这一问题，提出了IHDec（指令层次引导解码），该方法利用JSD自动检测令牌级别的层次违规，并动态执行对比解码以抑制不一致的下级角色。广泛评估表明，IHDec在多轮冲突中优于基于训练的基线，同时完全保留了响应质量。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多轮对话中无法维持指令层次结构的问题。现有方法多集中于单轮场景，且通常需要昂贵的微调，限制了其适用性。
核心思路：IHDec的核心思路是利用Jensen-Shannon散度（JSD）来自动检测令牌级别的层次违规，并通过动态对比解码来抑制不一致的下级角色，从而维护指令层次结构。
技术框架：IHDec的整体架构包括两个主要模块：首先是JSD检测模块，用于识别层次违规；其次是对比解码模块，根据检测结果动态调整解码过程，确保高优先级指令的执行。
关键创新：IHDec的主要创新在于其无训练的动态解码策略，能够在多轮对话中有效抑制低优先级指令的影响，与传统需要微调的方法本质上不同。
关键设计：IHDec在参数设置上采用了灵活的阈值机制，以适应不同场景的层次结构需求；损失函数设计上，结合了JSD和对比损失，确保解码过程中优先级的正确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，IHDec在多轮冲突中相较于基于训练的基线提升了响应质量，具体性能数据展示了其在多轮对话中的有效性和安全性，显著增强了对抗性提示注入的防护能力。
🎯 应用场景
该研究的潜在应用领域包括智能客服、对话系统和人机交互等场景，能够有效提升多轮对话的响应质量和安全性。IHDec的设计理念为未来的对话系统提供了新的思路，尤其是在处理复杂指令层次时，具有重要的实际价值。
📄 摘要（原文）
Large Language Models (LLMs) often fail to maintain instruction hierarchies (IH) when processing multi-source inputs with varying role-level priorities, paradoxically adhering to lower-priority directives during conflicts. While existing defenses mitigate this issue, they are largely restricted to single-turn scenarios and require expensive fine-tuning. In this paper, we formalize this failure mode in multi-turn contexts via a Jensen-Shannon Divergence (JSD) framework, uncovering a pervasive role-influence inversion phenomenon where subordinate inputs override superior roles. To rectify this without training, we propose IHDec (Instruction Hierarchy-steered Decoding). IHDec leverages JSD to automatically detect token-level hierarchy violations and dynamically executes contrastive decoding to suppress misaligned subordinate roles. Extensive evaluations demonstrate that IHDec outperforms training-based baselines in multi-turn conflicts while fully preserving general response quality. Furthermore, IHDec strengthens safety against adversarial prompt injections and exhibits a robust scaling synergy with larger models. The Code is available at https://github.com/nxcolelxu/IHDec.git