Mental-R1: Aligning LLM Reasoning for Mental Health Assessment

📄 arXiv: 2606.13176 📥 PDF

作者: Xin Wang, Boyan Gao, Yibo Yang, David A. Clifton

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出CRPO框架以提升心理健康评估的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康评估 强化学习 认知模型 策略优化 大语言模型 推理能力 数据集 熵正则化

📋 核心要点

  1. 现有的心理健康评估方法未能有效对齐人类的认知过程，导致推理结果不可靠。
  2. 本文提出了认知相对策略优化（CRPO），通过强化学习框架整合阶段性不确定性建模，模拟人类认知过程。
  3. 在8个心理健康数据集上的实验表明，CRPO的加权F1分数平均提高了10.4个百分点，显著优于现有基线。

📝 摘要（中文）

心理健康问题如焦虑、抑郁和自杀是全球紧迫挑战，及时准确的评估对有效干预至关重要。近期，大型语言模型被探索用于心理健康评估。然而，现有的通用后训练方法未能与人类评估的认知过程对齐，可能导致推理结果不可靠。为此，本文提出了认知相对策略优化（CRPO），这是一个针对心理健康领域的强化学习框架。CRPO通过将阶段性不确定性建模整合到策略优化过程中，扩展了群体相对策略优化。具体而言，我们引入了阶段性熵正则化机制，鼓励在早期推理阶段进行广泛探索，并在后期阶段逐步强化自信决策，模拟人类从不确定性到确定性的认知转变。实验结果表明，CRPO在8个心理健康数据集上的加权F1分数平均提高了10.4个百分点，显示出CRPO在推理密集型案例中的优势。

🔬 方法详解

问题定义：本文旨在解决现有心理健康评估方法与人类认知过程不对齐的问题，导致推理结果的不可靠性。

核心思路：提出认知相对策略优化（CRPO），通过强化学习框架引入阶段性不确定性建模，模拟人类从不确定性到确定性的认知转变。

技术框架：CRPO框架包括多个阶段，初期阶段鼓励广泛探索，后期阶段则强化自信决策，整体流程通过熵正则化机制进行调控。

关键创新：CRPO的核心创新在于阶段性熵正则化机制，区别于现有方法的单一策略优化，能够更好地反映人类的认知过程。

关键设计：在损失函数中引入阶段性熵正则化，设置不同阶段的探索与决策策略，确保模型在推理过程中能够动态调整其决策信心。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CRPO在8个心理健康数据集上的加权F1分数平均提高了10.4个百分点，明显优于最佳强化学习基线，表明CRPO在推理密集型案例中的优势，增强了心理健康评估的推理能力。

🎯 应用场景

该研究的潜在应用领域包括心理健康评估、临床心理学、智能医疗等。通过提升心理健康评估的准确性和可靠性，CRPO框架有助于更有效的干预措施，改善患者的心理健康状况，未来可能推动智能医疗的发展。

📄 摘要（原文）

Mental health problems such as anxiety, depression, and suicide remain urgent global challenges, where timely and accurate assessment is critical for effective intervention. Recently, large language models have been explored for mental health assessment. However, existing general-purpose post-training methods do not align with the cognitive processes of human assessment, which may lead to unreliable reasoning outcomes. To bridge this gap, we propose Cognitive Relative Policy Optimization (CRPO), a reinforcement learning framework tailored for the mental health domain. CRPO extends group relative policy optimization by integrating stage-dependent uncertainty modeling into the policy optimization process. Specifically, we introduce a stage-wise entropy regularization mechanism that encourages broad exploration in early reasoning phases and progressively enforces confident decision-making in later stages, mimicking the human cognitive shift from uncertainty to certainty. In addition, inspired by cognitive appraisal theory, we formalize cognitive reasoning stages, thereby guiding theory-grounded interpretable inference. Experiments on 8 mental health datasets show that CRPO achieves an average improvement of 10.4 percentage points in weighted F1-score over the best reinforcement learning baseline. Furthermore, the CRPO-trained model Mental-R1 demonstrates clear advantages compared with existing large language models on reasoning-intensive cases, suggesting that CRPO enhances reasoning capabilities for mental health assessment.