TraceRouter++: Causal Semantic Routing Realignment via Optimal Transport
作者: Chuancheng Shi, Shangze Li, Wenhua Wu, Hengzhi Chen, Fei Shen, Li Zhuo, Zhiyong Wang, Tat-Seng Chua
分类: cs.CL
发布日期: 2026-11-03
💡 一句话要点
提出TraceRouter++以解决大模型的安全干预问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全干预 对抗鲁棒性 因果推断 最优传输 大型语言模型 稀疏自编码器 多模态模型
📋 核心要点
- 现有的安全干预方法依赖于局部假设，难以应对分布式的有害语义，导致脆弱性和效用下降。
- TraceRouter++通过追踪安全相关的因果路由路径，采用发现-追踪-重新对齐的范式，进行安全干预。
- 实验结果显示，TraceRouter++在大型语言模型和多模态模型上显著提升了对抗鲁棒性，同时保持了安全与效用的平衡。
📝 摘要（中文）
尽管大型基础模型（LFM）具有显著能力，但仍易受到对抗性操控。现有的安全干预方法主要依赖于局部假设，强制抑制孤立神经元或特征。然而，有害语义以分布式、跨层电路的形式出现，使得局部消融在复杂的越狱攻击面前显得脆弱，并对整体效用产生负面影响。为此，本文提出了TraceRouter++，一个在路由级别进行安全干预的框架，明确追踪在有害输入下激活的安全相关因果路由路径，并重新调整其不安全的激活状态。该框架采用“发现-追踪-重新对齐”的范式，首先通过注意力偏差确定敏感的起始层，并使用稀疏自编码器（SAE）将密集激活解耦为可解释的路由特征。随后，通过特征影响分数（FIS）将这些特征映射到下游因果电路。与刚性抑制范式不同，TraceRouter++引入了一种基于约束最优传输（OT）的软路由重新对齐机制。通过将安全干预形式化为可处理的坐标边际最优传输近似，我们的方法在因果识别的路由子空间内将不安全的激活边际重定向到安全参考边际，同时在干预点保留未选择的坐标。大量实验表明，TraceRouter++在对抗鲁棒性方面优于评估的基线，同时保持良好的安全-效用权衡。
🔬 方法详解
问题定义：本文旨在解决大型基础模型在面对对抗性操控时的安全干预问题。现有方法过于依赖局部假设，导致难以有效应对分布式的有害语义，进而影响模型的整体效用和安全性。
核心思路：TraceRouter++的核心思路是通过追踪和重新对齐安全相关的因果路由路径，来实现对不安全激活状态的干预。该方法设计旨在避免传统方法的刚性抑制，提供更灵活的干预机制。
技术框架：TraceRouter++的整体架构包括三个主要阶段：首先，通过注意力偏差确定敏感层；其次，利用稀疏自编码器将激活解耦为可解释特征；最后，通过特征影响分数将这些特征映射到下游因果电路，并进行最优传输的软路由重新对齐。
关键创新：TraceRouter++的关键创新在于引入了基于约束最优传输的软路由重新对齐机制。这一机制使得不安全的激活边际能够被有效重定向到安全参考边际，同时保持未选择坐标的完整性，显著区别于现有的刚性抑制方法。
关键设计：在设计上，TraceRouter++使用了注意力机制来识别敏感层，稀疏自编码器用于特征解耦，特征影响分数用于映射，最优传输算法则用于实现安全干预的重定向。这些设计确保了干预过程的有效性和灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TraceRouter++在多个大型语言模型（LLMs）、多模态大型语言模型（MLLMs）和扩散模型（DMs）上均优于现有基线，显著提升了对抗鲁棒性。具体而言，该方法在安全-效用权衡方面表现良好，展示了其在实际应用中的有效性和可靠性。
🎯 应用场景
TraceRouter++的研究成果具有广泛的应用潜力，尤其是在需要高安全性和鲁棒性的人工智能系统中，如自动驾驶、金融风控和医疗诊断等领域。通过提升模型的对抗鲁棒性，该方法能够有效降低潜在的安全风险，增强用户信任。未来，随着技术的进一步发展，TraceRouter++可能会成为安全干预领域的标准方法。
📄 摘要（原文）
Despite their remarkable capabilities, large foundation models (LFMs) remain susceptible to adversarial manipulation. Current safety intervention methods primarily rely on the \textit{locality hypothesis}, rigidly suppressing isolated neurons or features. However, harmful semantics manifest as distributed, cross-layer circuits, rendering localized ablations both brittle against complex jailbreaks and detrimental to general utility. To bridge this gap, we propose TraceRouter++, a routing-level safety intervention framework that explicitly traces safety-relevant causal routing pathways activated under harmful inputs and realigns their unsafe activation states. Our framework operates in a \textit{Discover-Trace-Realign} paradigm: it first pinpoints a sensitive onset layer via attention divergence and disentangles dense activations into interpretable routing features using sparse autoencoders (SAEs). Subsequently, it maps these features to downstream causal circuits via feature influence scores (FIS). Crucially, departing from rigid suppression paradigms, TraceRouter++ introduces a constrained optimal transport (OT)-based soft routing realignment. By formulating safety intervention as a tractable coordinate-wise marginal optimal transport approximation, our method redirects unsafe activation marginals toward safe-reference marginals within causally identified routing subspaces while preserving non-selected coordinates at the intervention point. This mechanism safely redirects malicious semantic flows while leaving orthogonal computational routes intact. Extensive experiments across representative large language models (LLMs), multimodal large language models (MLLMs), and diffusion models (DMs) show that TraceRouter++ outperforms evaluated baselines, improving adversarial robustness while maintaining a favorable safety-utility trade-off. WARNING: This paper contains unsafe model responses.