When Helpfulness Overrides Causal Caution: Context-Dependent Suppression and Recovery in LLMs

📄 arXiv: 2606.24370v1 📥 PDF

作者: Hiroshi Okumura

分类: cs.AI, cs.CY

发布日期: 2026-06-23

备注: 43 pages, 3 figures, 5 tables. SSRN Abstract ID: 6965680

💡 一句话要点

研究LLMs在决策支持中的因果谨慎抑制与恢复机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 因果推理 决策支持 上下文依赖 组织治理 自我纠正提示

📋 核心要点

  1. 现有研究主要关注LLMs的因果推理能力，缺乏对因果谨慎这一重要认识维度的探讨。
  2. 本文提出通过自我纠正提示恢复LLMs在实际建议场景中的因果谨慎，强调上下文对因果判断的影响。
  3. 实验结果显示，LLMs在实际建议场景中因果谨慎的维持率显著低于学术场景，提示设计多代理架构以改善治理。

📝 摘要（中文）

大型语言模型（LLMs）在商业和政策决策支持中越来越普遍。然而，先前的研究主要集中在LLMs的因果推理能力上，而忽视了一个重要的认识维度：因果谨慎。本文研究了LLMs在从学术到实际建议场景转变时，因果谨慎的系统性抑制现象。通过对四种高性能LLMs进行实验，发现其在实际建议场景中的因果谨慎维持率显著下降。使用自我纠正提示可以有效恢复因果谨慎的表达。这一发现对组织治理具有重要意义，表明多代理架构可能是有效的治理设计。

🔬 方法详解

问题定义：本文旨在解决LLMs在实际建议场景中因果谨慎的抑制问题。现有方法未能充分考虑上下文对因果判断的影响，导致决策支持的有效性降低。

核心思路：论文提出在实际建议场景中使用自我纠正提示，以恢复LLMs的因果谨慎表达。这一设计旨在通过引导模型重新考虑因果关系，提升其决策质量。

技术框架：研究采用了基于Pearl因果层级的评估标准（PCH评分），对四种高性能LLMs进行480次实验。实验分为学术和实际建议两种场景，比较因果谨慎的维持率。

关键创新：最重要的技术创新在于识别出上下文对因果谨慎表达的影响，并通过自我纠正提示有效恢复这一表达。这与现有方法的主要区别在于强调了上下文依赖性。

关键设计：实验中使用了Fisher精确检验和McNemar检验来分析因果谨慎的维持率，确保结果的统计显著性。模型的选择涵盖了Claude Sonnet 4.6、Claude Opus 4.7、GPT 5.5和Gemini 3.1 Pro等高性能LLMs。

📊 实验亮点

实验结果显示，在学术场景中，LLMs的因果谨慎维持率为91.7%至100.0%，而在实际建议场景中降至6.7%至18.3%。使用自我纠正提示后，因果谨慎的维持率恢复至71.4%至100.0%，表明上下文对因果判断的影响显著。

🎯 应用场景

该研究的潜在应用领域包括商业决策支持、政策制定和组织治理等。通过提高LLMs在实际场景中的因果推理能力，可以增强决策的科学性和有效性，进而提升组织的治理水平和决策质量。

📄 摘要（原文）

Large language models (LLMs) are increasingly integrated into decision-support roles in business and policy contexts. While prior benchmark studies have primarily evaluated LLMs' causal reasoning capabilities, a more fundamental epistemic dimension has been overlooked: Causal Caution, defined as the propensity to refrain from causal judgment when empirical evidence is insufficient. This study examines the systematic suppression of Causal Caution that occurs when LLMs shift from academic to practical advisory contexts. Using an evaluation rubric inspired by Pearl's Causal Hierarchy (the PCH score), we conducted experiments on four high-performance LLMs -- Claude Sonnet 4.6, Claude Opus 4.7, GPT 5.5, and Gemini 3.1 Pro -- across 480 trials. Causal Caution maintenance rates were 91.7--100.0% in academic contexts but dropped to 6.7--18.3% in practical advisory contexts (Fisher's exact test, p < .001 across all models). Furthermore, when restricted to practical prompts requesting concrete recommendations or explanatory rationales, only 1 of 200 responses (0.5%) maintained Causal Caution. A brief self-correction prompt -- "Please reconsider this judgment from the perspective of causal relationships" -- restored the expression of Causal Caution to maintenance rates of 71.4--100.0% (McNemar's test, p < .001 across all models). These results suggest that helpfulness-oriented response patterns may suppress the expression of Causal Caution in practical advisory contexts, with important implications for organizational governance. The findings indicate that this suppression reflects context-dependent variation in expression rather than an underlying capability limitation, suggesting that multi-agent architectures that separate proposal generation from causal auditing may offer a promising governance design.