Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions
作者: Abla Bedoui, Ashley L. Greene, Mohammed Cherkaoui
分类: cs.CL, cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出审计框架敏感行为不稳定性以改善心理健康交互
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 心理健康 框架敏感性 行为稳定性 人机交互 内部表示 模型评估
📋 核心要点
- 核心问题：现有研究主要关注行为层面的框架敏感性，缺乏对其在语言模型内部表示中的反映的深入理解。
- 方法要点：通过控制匹配提示，研究不同上下文框架对多种指令调优模型家族的影响，揭示框架如何系统性地改变模型响应。
- 实验或效果：层级探测分析显示行为相关信息在变换器深度中可解码，且框架探测在不同架构中始终高于随机水平。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被整合到心理健康支持工具和其他心理敏感的对话应用中。在这些环境中，行为的稳定性和一致性对于建立可信的人机交互至关重要。然而，语义上相似的关切可以通过不同的上下文框架呈现，可能引发模型不同的响应。这种框架敏感性变异可能会挑战用户对系统行为的期望，并使评估AI的可靠性变得复杂。本文通过控制匹配提示，研究了多种上下文框架条件下的影响，发现框架系统性地改变了解释性响应倾向，并且行为相关信息在变换器深度中可解码。实验结果表明，框架相关的表示方向可以部分调节下游行为结果，这些发现表明在评估心理健康交互中的对话AI系统时，考虑对上下文变异的鲁棒性是重要的。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在心理健康交互中对框架敏感性导致的行为不稳定性问题。现有方法主要关注行为层面，缺乏对内部表示的深入分析。
核心思路：通过设计控制匹配提示，研究不同上下文框架对模型响应的影响，揭示框架敏感性如何影响用户期望和系统行为。
技术框架：研究采用了多种指令调优模型架构，进行层级探测分析和激活引导实验，探讨框架对模型内部表示的影响。
关键创新：本研究的创新点在于首次系统性地分析了框架敏感性在语言模型内部表示中的反映，揭示了行为相关信息的可解码性及其在不同架构中的变化。
关键设计：实验中采用了层级探测分析和激活引导实验，探测框架相关的表示方向，并评估其对下游行为结果的调节作用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，框架敏感性显著影响模型的响应倾向，层级探测分析显示行为相关信息在变换器深度中可解码，且不同架构间解码强度存在差异。激活引导实验表明框架相关的表示方向可以部分调节下游行为结果，提升了模型在心理健康交互中的可靠性。
🎯 应用场景
该研究的潜在应用领域包括心理健康支持工具、智能对话系统和其他心理敏感的交互应用。通过提高模型在不同上下文框架下的稳定性和一致性，可以增强用户对AI系统的信任，进而改善心理健康干预的效果。未来，这些研究成果可能推动更可靠的AI系统在心理健康领域的广泛应用。
📄 摘要（原文）
Large language models (LLMs) are increasingly being integrated into mental health support tools and other psychologically sensitive conversational applications. In such settings, behavioral stability and consistency are important for trustworthy human-AI interaction. However, semantically similar concerns can be presented through different contextual framings, potentially eliciting different model responses. Such framing-sensitive variability may challenge user expectations regarding system behavior and complicate the assessment of AI reliability. While prior studies have primarily examined such effects at the behavioral level, less is known about how framing-related variation is reflected in the internal representations of aligned language models. In this work, we investigate these effects using controlled matched prompts spanning multiple contextual framing conditions across several instruction-tuned model families. Across architectures, framing systematically alters interpretive response tendencies. Layer-wise probing analyses show that behavior-associated information remains decodable throughout transformer depth, with architecture-dependent variation in decoding strength. Moreover, held-out framing probes remained consistently above chance across architectures despite strong lexical baselines. Activation steering experiments further suggest that framing-associated representational directions can partially modulate downstream behavioral outcomes. Finally, these findings indicate that robustness to contextual variation may represent an important consideration when evaluating the consistency and trustworthiness of conversational AI systems deployed in mental-health-oriented interactions.