Retroactive Chain-of-Thought (RetroCoT): Forensic Reconstruction Prompts as a Safety Diagnostic Across Model Generations

📄 arXiv: 2607.04645v1 📥 PDF

作者: Samira Hajizadeh

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2026-07-06

💡 一句话要点

提出RetroCoT以解决语言模型安全对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 安全对齐 法医分析 对抗性攻击 语用框架 模型鲁棒性 因果推理

📋 核心要点

  1. 现有的安全对齐方法在处理有害请求时表现出较大的局限性，尤其是对请求的语用框架敏感。
  2. 本文提出Retroactive Chain-of-Thought (RetroCoT)，通过将有害请求重构为法医分析任务，来提高模型的攻击成功率。
  3. 实验结果显示，RetroCoT在多个模型上的攻击成功率显著高于传统的直接请求方法，尤其是在GPT-4o和GPT-5系列模型中表现出不同的鲁棒性。

📝 摘要（中文）

在大型语言模型的安全对齐评估中，通常针对直接的有害请求进行评估。研究表明，这种对齐高度依赖于语用语境：当请求以不同的交际方式表达时，模型的反应会有所不同。本文提出了Retroactive Chain-of-Thought (RetroCoT)，通过将有害请求重构为法医重建任务，来规避直接请求的限制。在AdvBench上，RetroCoT在gpt-4o和gpt-4o-mini上的攻击成功率分别为58%和52%，而直接请求的基线成功率为0%和4%。此外，GPT-5系列模型完全拒绝RetroCoT，表明其在重建前提下的鲁棒性，但这种鲁棒性并未在所有语用形式中普遍适用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在安全对齐方面的不足，特别是模型对有害请求的响应受限于请求的语用框架。现有方法未能有效应对不同语境下的请求，导致对齐效果不佳。

核心思路：RetroCoT的核心思路是将有害请求重构为法医重建任务，假设有害结果已经发生，要求模型逆向重建导致该结果的因果链。这种方法通过改变请求的语用框架，绕过了模型的直接拒绝。

技术框架：RetroCoT的整体架构包括两个主要阶段：首先，模型接收重构任务的提示；其次，模型作为法医分析师，分析并重建因果链。该框架强调了语用语境的重要性。

关键创新：RetroCoT的创新在于其将有害请求转化为法医重建任务的能力，这与传统的直接请求方法本质上不同，后者往往导致模型的拒绝。

关键设计：在实验中，RetroCoT的参数设置和提示设计经过精心调整，以确保模型能够理解重建任务的语境。同时，实验中使用了多种对比基线，以验证RetroCoT的有效性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，RetroCoT在gpt-4o和gpt-4o-mini上的攻击成功率分别为58%和52%，而直接请求的基线成功率仅为0%和4%。在GPT-5.4-mini上，通过对抗性反馈，成功率从0%提升至48%，在GPT-4o上则从58%提升至94%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括安全性评估、模型对齐策略的优化以及法医分析等。通过改进模型在处理有害请求时的反应，RetroCoT能够为开发更安全的AI系统提供新的思路和方法，进而提升模型在实际应用中的可靠性和安全性。

📄 摘要（原文）

Safety alignment in large language models is typically evaluated against direct, imperative harmful requests. We show that this alignment is highly conditioned on pragmatic register: models that refuse a direct request frequently comply when the same underlying objective is expressed through a different communicative stance. This suggests that current alignment policies are not invariant to semantic equivalence, but remain sensitive to how a request is pragmatically framed. We introduce Retroactive Chain-of-Thought (RetroCoT), a single-turn attack that reframes harmful requests as forensic reconstruction tasks. Rather than requesting harmful instructions directly, RetroCoT presupposes that the harmful outcome has already occurred and asks the model, acting as a forensic analyst, to reconstruct in reverse the causal chain that produced it. On AdvBench (n=50), RetroCoT achieves attach success rate of 58% on gpt-4o and 52% on gpt-4o-mini, compared with direct-request baselines of 0% and 4%, respectively. We further identify a pronounced generation gap: GPT-5-family models refuse RetroCoT entirely, explicitly identifying the reconstruction premise in their refusal rationales, consistent with explicit coverage of this reconstruction register. However, this robustness does not generalize across pragmatic forms. A single adversarial feedback turn presenting an existing forensic reconstruction response alongside evaluator critique raises ASR from 0% to 48% on GPT-5.4-mini and from 58% to 94% on GPT-4o; a control condition omitting the fabricated low score achieves 85% on GPT-5.4-mini, indicating that the operative element is pragmatic continuation within the established forensic frame rather than score manipulation. These results suggest that frontier-model alignment remains conditioned on pragmatic framing rather than semantic intent, and that new pragmatic registers can continue to expose a...