Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

📄 arXiv: 2606.27681v1 📥 PDF

作者: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

分类: cs.LG, cs.CL

发布日期: 2026-06-26

💡 一句话要点

提出文本信念状态以解决世界模型中的可识别表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 潜在状态 文本表示 强化学习 中介原则 可识别性 表示学习 复杂任务

📋 核心要点

  1. 现有方法在处理文本潜在状态时，面临历史信息泄露导致的表示质量下降问题。
  2. 论文提出通过严格的潜在状态中介原则，设计文本潜在状态和fGRPO方法，以确保预测依赖于潜在状态和动作。
  3. 实验表明，该方法在复杂任务和长时间预测中，表示质量和回滚性能显著提升，验证了其有效性。

📝 摘要（中文）

在部分可观测环境中，世界模型依赖于总结交互历史的潜在表示。然而，许多现代基于大型语言模型的架构中，预测性能未能反映表示质量，导致潜在状态不可识别。严格的潜在状态中介原则要求预测仅依赖于潜在状态和动作，但在文本环境中实施这一原则面临挑战。本文提出了文本潜在状态和因子化GRPO（fGRPO），通过强化学习方法在训练中强制执行严格中介。实验结果显示，在TextWorld和ScienceWorld上，模型在保持一步预测准确性的同时，表示质量提高了57%，回滚性能提升了98%。

🔬 方法详解

问题定义：本文旨在解决在部分可观测环境中，潜在状态因历史信息泄露而导致不可识别的问题。现有基于LLM的架构在处理文本时，预测性能与表示质量之间的联系被削弱。

核心思路：论文提出严格的潜在状态中介原则，确保预测仅依赖于潜在状态和动作，从而提高表示的可识别性。通过引入文本潜在状态和fGRPO方法，解决了文本环境中潜在状态的离散性和非可微性问题。

技术框架：整体架构包括文本潜在状态的定义、因子化GRPO的设计，以及在训练过程中强制执行严格中介的机制。主要模块包括潜在状态的提取、动作选择和预测生成。

关键创新：最重要的技术创新在于提出了文本潜在状态的概念，使其具有可解释性和可变长度，同时设计了fGRPO方法以强化学习的方式实现严格中介。这与传统方法在处理潜在状态时的依赖性有本质区别。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以优化潜在状态的学习过程。网络结构方面，fGRPO采用树状结构，增强了模型在复杂任务中的表现。通过这些设计，模型能够有效地捕捉到潜在状态的信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用fGRPO方法后，模型在TextWorld和ScienceWorld上的一步预测准确性保持不变，同时表示质量提高了57%，回滚性能提升了98%。这些结果表明，随着任务复杂性和预测时间的增加，模型的表现显著改善，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、游戏AI和自然语言处理等。通过提高模型在部分可观测环境中的表示质量，能够增强智能体的决策能力和适应性，推动相关领域的技术进步和实际应用。未来，随着模型在更复杂任务中的应用，可能会对人机交互和自主学习产生深远影响。

📄 摘要（原文）

World models in partially observed environments rely on latent representations that summarize interaction history, but in many modern LLM-based architectures predictive performance fails to reflect representation quality due to history bypass, rendering the latent state unidentifiable. Strict latent state mediation, requiring predictions to depend only on the latent state and action, is a classical principle that resolves this, but enforcing it in text-based settings is an open challenge: textual latent states are discrete and non-differentiable, precluding variational training, and expressive LLM decoders readily ignore the bottleneck. We show how to make strict mediation work in the text domain. We formalize why it is necessary, showing that strict mediation makes representation quality empirically testable while history-leaky architectures break this connection. We then introduce textual latent states, which are discrete, interpretable, and variable-length, and factorized GRPO (fGRPO), a tree-structured reinforcement learning method that enforces strict mediation during training. Experiments on TextWorld and ScienceWorld show preserved one-step prediction accuracy alongside up to 57\% gains in representation quality and 98\% improvements in rollout performance, increasing with task complexity and horizon.