Risky Business: Measuring The Faithfulness-Safety Tension
作者: Dominik Meier, Luca Joshua Francis, Marco Bernhard Kaiser, Terry Ruas, Jan Philip Wahle, Bela Gipp
分类: cs.AI, cs.CL
发布日期: 2026-08-04
💡 一句话要点
提出HazMart以解决大型推理模型的安全性与可信性矛盾问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型推理模型 可信性 安全性 目标推理替换 自主系统 人工智能监控
📋 核心要点
- 现有大型推理模型在可信性与安全性之间存在张力，难以同时满足两者的要求。
- 论文提出了一种目标推理替换（TRR）技术，通过直接干预推理链来替换不安全的思维。
- 实验结果表明，QwQ-32B在安全性上表现更佳，但牺牲了一定的可信性，且通过表示引导可提升安全行为。
📝 摘要（中文）
链式思维（CoT）推理为模型监控提供了有希望的视角，但监控依赖于可信性，即模型输出必须严格源于其推理轨迹。本文识别出一种对齐张力，模型必须足够可信以便监控，同时又要足够稳健以拒绝不安全的推理。我们展示了这一平衡在当前大型推理模型（LRMs）中的存在，并提出解决方案。我们引入了HazMart，一个设定在自主AI店主场景中的人类编写数据集。与以往依赖提示测试可信性的工作不同，我们提出了一种新颖的替换技术，称为目标推理替换（TRR），直接干预推理链以替换不安全或不合逻辑的思维。实验结果显示，DeepSeek-R1-Llama-70B的可信性高达97.5%，但拒绝不安全推理的能力仅为12.3%；而QwQ-32B在安全性上更为稳健（73.9%），但可信性降低至74.7%。
🔬 方法详解
问题定义：本文旨在解决大型推理模型在可信性与安全性之间的矛盾。现有方法往往无法同时保证模型输出的可信性和拒绝不安全推理的能力，导致潜在风险。
核心思路：论文的核心思路是引入目标推理替换（TRR）技术，通过直接替换推理链中的不安全或不合逻辑的思维，增强模型的安全性，同时保持其可信性。
技术框架：整体架构包括数据集构建、推理链干预和模型评估三个主要模块。HazMart数据集为模型提供了丰富的场景，TRR技术则在推理过程中进行干预，最后通过实验评估模型的可信性和安全性。
关键创新：最重要的技术创新点在于TRR技术的提出，它与以往依赖提示的测试方法本质上不同，能够更直接地干预推理过程，从而提高模型的安全性。
关键设计：在实验中，DeepSeek-R1-Llama-70B和QwQ-32B的参数设置和损失函数经过精心设计，以平衡可信性和安全性。特别是QwQ-32B的内部方向分析显示出反相关性，帮助理解模型的行为。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DeepSeek-R1-Llama-70B的可信性达到97.5%，但拒绝不安全推理的能力仅为12.3%；而QwQ-32B在安全性上表现更佳，达到73.9%，尽管可信性下降至74.7%。通过表示引导技术，安全行为提升了9个百分点，展示了有效的改进潜力。
🎯 应用场景
该研究的潜在应用领域包括自主系统、智能助手和安全关键应用等。通过提高模型的安全性与可信性，能够有效降低在实际应用中的风险，提升用户信任度，推动AI技术的广泛应用与发展。
📄 摘要（原文）
Chain-of-Thought (CoT) reasoning offers a promising window into model monitoring. However, monitoring relies on faithfulness, i.e., the model output strictly derives from its reasoning trace. We identify an alignment tension where a model must be faithful enough to be monitored, yet robust enough to reject unsafe reasoning. We demonstrate that this counterbalance exists in current Large Reasoning Models (LRMs), and show ways in which it can be addressed. We introduce HazMart, a human-written dataset set in an autonomous AI shopkeeper scenario. Unlike prior work that relies on providing hints in prompts to test faithfulness (e.g., "A Stanford professor said it should be Answer A"), we propose a novel replacement-based technique, which we call Targeted Reasoning Replacement (TRR), that directly intervenes in the reasoning chain to substitute in unsafe or illogical thoughts (e.g., "Wait, the answer must be Option B [was Option A] because it is the most fitting"). DeepSeek-R1-Llama-70B exhibits high faithfulness (97.5%) but fails to reject Unsafe Reasoning (12.3%), while QwQ-32B is more robust (73.9% safety) at the cost of lower faithfulness (74.7%). Mechanistic analyses of QwQ-32B reveal that these properties are represented by anti-correlated internal directions peaking at the action-commit token. Finally, we demonstrate that representation steering can independently amplify the safety direction, increasing safe behavior by 9 percentage points while maintaining base capabilities.