Mental-R1: Aligning LLM Reasoning for Mental Health Assessment

📄 arXiv: 2606.13176v1 📥 PDF

作者: Xin Wang, Boyan Gao, Yibo Yang, David A. Clifton

分类: cs.AI

发布日期: 2026-06-11

💡 一句话要点

提出CRPO框架以提升心理健康评估的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康评估 强化学习 认知模型 策略优化 大语言模型 不确定性建模 推理能力

📋 核心要点

  1. 现有的心理健康评估方法未能有效对齐人类的认知过程，导致推理结果不可靠。
  2. 本文提出了认知相对策略优化（CRPO），通过阶段性熵正则化机制优化心理健康评估的推理过程。
  3. CRPO在8个心理健康数据集上的实验结果显示，平均提升了10.4个百分点的加权F1分数，表现优于现有基线模型。

📝 摘要（中文）

心理健康问题如焦虑、抑郁和自杀是全球紧迫的挑战，及时准确的评估对有效干预至关重要。近期，大型语言模型被探索用于心理健康评估。然而，现有的通用后训练方法未能与人类评估的认知过程对齐，可能导致推理结果不可靠。为此，本文提出了认知相对策略优化（CRPO），这是一个针对心理健康领域的强化学习框架。CRPO通过将阶段性不确定性建模整合到策略优化过程中，扩展了群体相对策略优化。具体而言，我们引入了阶段性熵正则化机制，鼓励在早期推理阶段进行广泛探索，并在后期阶段逐步强化自信决策，模拟人类从不确定性到确定性的认知转变。实验结果表明，CRPO在8个心理健康数据集上平均提升了10.4个百分点的加权F1分数。

🔬 方法详解

问题定义：本文旨在解决现有心理健康评估方法与人类认知过程不一致的问题，导致推理结果的不可靠性。现有的通用后训练方法未能有效捕捉心理健康评估中的复杂认知过程。

核心思路：提出认知相对策略优化（CRPO）框架，通过引入阶段性熵正则化机制，模拟人类在推理过程中的认知转变，从不确定性到确定性，提升评估的准确性和可靠性。

技术框架：CRPO框架包括多个阶段，首先在早期阶段鼓励广泛探索，随后在后期阶段逐步强化自信决策。整个过程通过强化学习进行优化，结合了阶段性不确定性建模。

关键创新：CRPO的核心创新在于将阶段性熵正则化机制引入到心理健康评估的策略优化中，这与现有方法的本质区别在于其能够更好地模拟人类的认知过程。

关键设计：在CRPO中，设置了阶段性熵正则化参数，以控制探索与利用的平衡，同时设计了适应于心理健康评估的损失函数，确保模型在不同推理阶段的表现最优。整体网络结构采用了强化学习的策略优化框架，结合了认知评估理论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CRPO在8个心理健康数据集上实现了平均10.4个百分点的加权F1分数提升，相较于最佳强化学习基线模型表现出明显优势，尤其在推理密集的案例中，CRPO训练的模型Mental-R1展现了更强的推理能力。

🎯 应用场景

该研究的潜在应用领域包括心理健康评估、临床干预以及智能心理咨询系统。通过提升评估的准确性，CRPO框架有助于更好地识别和干预心理健康问题，具有重要的社会价值和实际意义。未来，CRPO的理念和方法可以扩展到其他领域的智能决策系统中。

📄 摘要（原文）

Mental health problems such as anxiety, depression, and suicide remain urgent global challenges, where timely and accurate assessment is critical for effective intervention. Recently, large language models have been explored for mental health assessment. However, existing general-purpose post-training methods do not align with the cognitive processes of human assessment, which may lead to unreliable reasoning outcomes. To bridge this gap, we propose Cognitive Relative Policy Optimization (CRPO), a reinforcement learning framework tailored for the mental health domain. CRPO extends group relative policy optimization by integrating stage-dependent uncertainty modeling into the policy optimization process. Specifically, we introduce a stage-wise entropy regularization mechanism that encourages broad exploration in early reasoning phases and progressively enforces confident decision-making in later stages, mimicking the human cognitive shift from uncertainty to certainty. In addition, inspired by cognitive appraisal theory, we formalize cognitive reasoning stages, thereby guiding theory-grounded interpretable inference. Experiments on 8 mental health datasets show that CRPO achieves an average improvement of 10.4 percentage points in weighted F1-score over the best reinforcement learning baseline. Furthermore, the CRPO-trained model Mental-R1 demonstrates clear advantages compared with existing large language models on reasoning-intensive cases, suggesting that CRPO enhances reasoning capabilities for mental health assessment.