Disclosure-Gated User Simulation for Companion-Agent Evaluation
作者: Yao Liu, Yu He
分类: cs.CL, cs.AI, cs.HC
发布日期: 2026-09-01
💡 一句话要点
提出披露门控用户模拟以解决伴随代理评估中的合作性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户模拟 门控机制 伴随代理 系统评估 自然语言处理 人机交互 智能助手
📋 核心要点
- 现有的用户模拟方法存在过度合作的问题，导致系统评估不够真实，评分偏向提问数量。
- 本文提出了一种披露门控机制，通过条件控制伴随代理的行为，提升用户模拟的真实性和有效性。
- 实验结果显示，所提出的模拟器在多个系统评估中排名稳定性高，与基准模拟器的相关性达到0.993。
📝 摘要（中文）
使用大型语言模型进行用户模拟已成为可扩展评估的标准，但存在模拟用户过于合作的问题，导致系统评分偏向于提问数量而非用户意愿。为此，本文提出了一种披露门控机制，通过对伴随代理行为的信息释放进行条件控制，设计了五个有序门控状态，合并为三个可观察的深度层次。我们对该机制进行了详细的规范、消融实验和审计，并训练了一个用户模拟器。实验结果表明，该模拟器在多个系统评估中表现出显著的排名稳定性和准确性。
🔬 方法详解
问题定义：本文旨在解决现有用户模拟方法中模拟用户过于合作的问题，这导致系统评估结果偏向于提问数量，而非用户的真实反应。
核心思路：通过引入披露门控机制，控制伴随代理的信息释放，从而提高用户模拟的真实性，使得模拟器能够在没有明确指示的情况下自主判断信息的披露。
技术框架：整体架构包括数据预处理、门控机制设计、用户模拟器训练和评估四个主要模块。门控机制由五个有序状态组成，合并为三个可观察的层次，模拟器在训练过程中学习如何根据输入信息选择合适的门控状态。
关键创新：最重要的创新在于引入了门控机制，使得用户模拟器能够在运行时自主判断信息的披露，而不需要在每个示例中明确指示。这一设计显著提高了模拟器的灵活性和真实感。
关键设计：在训练过程中，使用了合成分支和真实分支的数据，合成分支用于学习门控行为，真实分支则提供人类的语言和反应。损失函数设计为确保模拟器在不同门控状态下的表现一致性，网络结构采用了适应性调整以适应不同的输入特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的用户模拟器在12个测试系统中的排名变化超过了噪声带，且与基准模拟器的相关性高达0.993。相比之下，使用前沿模型作为模拟器的排名变化微小，但所有评分均向上移动，显示出明显的评估偏差。
🎯 应用场景
该研究的潜在应用领域包括人机交互、智能助手和社交机器人等。通过提高用户模拟的真实性，能够更好地评估伴随代理的性能，从而提升用户体验和系统的实际应用价值。未来，该方法可能在更多的智能系统评估中得到广泛应用。
📄 摘要（原文）
Using a large language model to play the user is now standard in scalable evaluation. It has a repeatedly diagnosed failure: the simulated user is excessively cooperative, so a system under test can score by the sheer number of questions it asks rather than by making the user willing to speak. We answer with a disclosure gate conditioning information release on the companion agent's behaviour: its state is a ladder of five ordered gates, merged onto three observable depth layers. We specify, ablate, and audit it, and train a user simulator against that specification. Gating behaviour is learned from the training corpus's synthetic branch, while the real branch supplies how people speak and react; after training, the simulator need not be told at runtime which gate each item sits behind. The gate is a load-bearing component of the environment: on the English corpus of a published companion-agent benchmark (CompanionBench), once training no longer states per example which gate each item sits behind, the largest rank displacement across 12 systems under test exceeds the noise band set by re-running that environment under a new seed, while per-system scores show no detectable change. We state two acceptance criteria: a ranking must be order-preserving, and absolute scores must be scale-stable. Of the candidates we examine, only one passes both -- the simulator we release -- and its leaderboard correlates at 0.993 with the benchmark's original simulator. By contrast, prompting a frontier model as the simulator barely moves the ranking while shifting every score upward -- a shift invisible to anyone checking the ranking alone. The environment we specify is the one that benchmark already used. That publication describes the mechanism in about four hundred words, and we supply what it lacked: specification, ablations, human studies, negative controls, and downstream sensitivity analysis.