Behavioural Quality Is Not Learning Utility: Objective Mismatch in Human Behaviour Models for Robot Learning
作者: Haoyang Jiang, Dana Kulic, Michael Burke, Pamela Carreno-Medrano
分类: cs.RO
发布日期: 2026-10-26
备注: Project page: https://objective-mismatch-hri.github.io/supplementary/
💡 一句话要点
提出人类行为模型评估新方法以优化机器人学习效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人类行为模型 机器人学习 强化学习 人机交互 评估指标
📋 核心要点
- 现有的人类行为模型评估方法主要关注生成行为与真实数据的相似度，忽视了其作为训练伙伴的有效性。
- 本文提出了一种新的评估框架，比较不同人类行为模型在机器人学习中的实际训练效用。
- 实验结果表明，现有评估指标无法一致预测下游策略性能，且不同轨迹表示对评估结果影响显著。
📝 摘要（中文）
人类行为模型在机器人强化学习训练中越来越受到重视。现有方法主要依据生成行为与真实人类数据的相似度来评估这些模型，而对其作为训练伙伴的有效性评估较少。这可能导致目标不匹配：表现良好的模型不一定能提供有用的训练经验。本文在高速公路驾驶和物体交接两个领域中评估不同类型的人类行为模型，发现现有的行为评估指标并不能一致预测下游策略性能，同时对轨迹表示的选择敏感。即使在已知真实测试行为分布的情况下，训练不同分布的模型可能会比直接训练真实分布获得更好的下游性能。
🔬 方法详解
问题定义：本文旨在解决人类行为模型在机器人学习中评估标准与实际训练效用之间的目标不匹配问题。现有方法过于依赖行为相似度，未能考虑模型对下游学习的贡献。
核心思路：论文提出通过比较不同类型的人类行为模型的生成效果与下游强化学习策略的性能，来评估模型的实际训练效用。这样设计的目的是为了识别出更适合机器人学习的行为模型。
技术框架：研究采用了两种人机交互场景（高速公路驾驶和物体交接），评估不同的人类轨迹表示，并使用常见的生成模型评估指标进行比较。
关键创新：最重要的创新在于揭示了现有行为评估指标与下游策略性能之间的不一致性，并提出了在已知真实分布的情况下，训练不同分布模型可能获得更优性能的观点。
关键设计：在实验中，采用了多种人类轨迹表示方式，并对比了不同模型生成的行为与下游策略的表现，发现轨迹表示的选择对评估结果有显著影响。具体的损失函数和网络结构细节未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有的行为评估指标无法一致预测下游策略性能，且对轨迹表示的选择敏感。在高速公路驾驶和物体交接场景中，训练不同分布的模型在下游任务中表现优于直接训练真实分布，具体提升幅度未在摘要中提供。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、自动驾驶和人机交互等。通过优化人类行为模型的评估方法，可以提高机器人在复杂环境中的学习效率和适应能力，进而推动智能机器人技术的发展。未来，研究成果可能影响机器人与人类的协作方式，提升人机交互的自然性和安全性。
📄 摘要（原文）
Human behaviour models are increasingly used to provide simulated human interactions for training robots via reinforcement learning (RL). Existing approaches primarily evaluate these models according to how closely their generated behaviours resemble real human data, while their usefulness as training partners is less commonly assessed. This creates a potential objective mismatch: a model that performs well according to behavioural evaluation metrics may not necessarily provide useful training experiences for downstream robot policy learning. Across two human-robot interaction (HRI) domains, highway driving and object handover, we evaluate different types of human behaviour models using common generative-model evaluation metrics. We consider multiple human trajectory representations and compare the resulting evaluations with the downstream performance of RL policies trained using the corresponding models. We find that existing behavioural evaluation metrics do not consistently predict downstream policy performance across domains and trajectory representations, while their evaluations are sensitive to the choice of trajectory representation. We also show that even when the true testing behaviour distribution is known, training against a different distribution may yield better downstream performance than training directly against the true distribution.