Mind the Gap: Theory-of-Mind-Grounded Friction for Epistemic Alignment
作者: Yifan Zhu, Kyeongmin Rim, James Pustejovsky
分类: cs.CL
发布日期: 2026-08-31
备注: 16 pages, 1 figure
💡 一句话要点
提出基于心智理论的摩擦优化以解决对话中的信念对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对话系统 心智理论 摩擦政策优化 认知对齐 人机交互 信念结构 政策优化
📋 核心要点
- 现有的对话对齐方法未能有效区分表面协调与认知对齐，导致信念状态的收敛不足。
- 论文提出通过心智理论推理作为控制信号，提取四部分信念结构以优化摩擦政策，从而实现认知对齐。
- 实验结果显示，使用新方法的干预F1和上下文校准显著优于传统方法，且在多次训练中表现更为稳定。
📝 摘要（中文）
有效的对话对齐需要区分表面协调（如确认和顺畅的任务推进）与认知对齐（信念状态的收敛）。现有的基于偏好的方法通常优化响应级偏好，而未明确建模后者。本文通过在摩擦政策优化中提取四部分信念结构，将心智理论推理作为控制信号，使摩擦从认知状态比较中机械计算，从而捕捉到“无声的分歧”。实验结果表明，第二阶信道的消融使误解回忆率从65%降至26%；而奖励塑形和信任区域变体在干预F1和上下文校准方面优于DPO，且Brier分数独立支持校准提升。
🔬 方法详解
问题定义：本文旨在解决对话中信念对齐不足的问题，现有方法在优化响应偏好时未能有效建模认知对齐，导致参与者间的误解和分歧。
核心思路：通过将心智理论推理作为控制信号，提取说话者的意图、听者的理解以及双方对彼此信念的模型，形成四部分信念结构，从而实现摩擦的机械计算。
技术框架：整体架构包括信念结构的提取、摩擦的计算和政策优化三个主要模块。信念结构提取用于捕捉参与者的认知状态，摩擦计算则基于这些状态进行优化，最终通过政策优化实现有效的对话干预。
关键创新：最重要的创新在于将心智理论推理与摩擦政策优化结合，使得摩擦可以从认知状态比较中直接计算，解决了传统方法中对认知对齐建模不足的问题。
关键设计：在实验中，使用了第二阶信道的设计来增强信念结构的提取效果，同时采用奖励塑形和信任区域策略来优化政策，确保在不同训练过程中保持稳定性。实验结果表明，这些设计显著提升了干预的有效性和上下文的校准能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，消融第二阶信道使误解回忆率从65%降至26%；而奖励塑形和信任区域变体在干预F1和上下文校准方面显著优于DPO，且Brier分数支持这些校准提升，表明新方法在多次训练中表现出更高的稳定性和有效性。
🎯 应用场景
该研究可广泛应用于人机对话系统、智能助手和社交机器人等领域，提升其在复杂对话场景中的理解和响应能力。通过更好地处理信念对齐问题，未来的对话系统将能够提供更自然和有效的交互体验，进而推动人机协作的发展。
📄 摘要（原文）
Productive dialogue alignment requires distinguishing \emph{surface coordination} (acknowledgments and smooth task progression) from \emph{epistemic alignment} (convergence of belief states); standard preference-based methods typically optimize response-level preferences without explicitly modeling the latter. We operationalize Theory-of-Mind (ToM) inference as a control signal within Frictive Policy Optimization by extracting, at each referring expression, a four-part belief structure: the speaker's intended referent, the addressee's interpretation, and each participant's model of the other's belief. This makes friction mechanically computable from epistemic-state comparisons, capturing \emph{silent divergence}, where both participants proceed confidently while grounding to different referents. We evaluate the signal at two levels. At the representation level, ablating the second-order channel reduces misunderstanding recall from $65\%$ to $26\%$. At the policy level, reward-shaping (FAR) and trust-region (FTR) variants improve intervention F1 and warranted-context calibration over DPO, with Brier scores independently supporting the calibration gains. Across three training runs, FAR and FTR remain substantially more stable, whereas DPO varies widely and can degrade intervention competence already present in the base policy. Thus, ToM-grounded friction provides a trainable signal for context-sensitive intervention under referential belief divergence.