Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning

📄 arXiv: 2402.17930v1 📥 PDF

作者: Tan Zhi-Xuan, Lance Ying, Vikash Mansinghka, Joshua B. Tenenbaum

分类: cs.AI, cs.CL, cs.LG

发布日期: 2024-02-27

备注: Accepted to AAMAS 2024. 8 pages (excl. references), 5 figures/tables. (Appendix: 8 pages, 8 figures/tables). Code available at: https://github.com/probcomp/CLIPS.jl

💡 一句话要点

提出CLIPS以解决模糊指令跟随问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模糊指令 贝叶斯推理 合作规划 大型语言模型 人机交互 智能助手 多模态推理

📋 核心要点

  1. 现有方法在处理模糊指令时缺乏灵活性和上下文敏感性，难以有效推断用户的真实意图。
  2. 论文提出的CLIPS方法通过建模人类为合作规划者，利用多模态贝叶斯推理来理解指令和目标。
  3. 在两个合作规划领域的实验中，CLIPS显著提高了准确性和帮助程度，超越了多种基线方法。

📝 摘要（中文）

人们常常给出含糊的指令，期望通过行动或目标来澄清意图。本文提出了一种名为合作语言引导逆向规划（CLIPS）的贝叶斯代理架构，用于灵活、上下文敏感地跟随指令和提供目标辅助。该代理将人类建模为合作规划者，通过多模态贝叶斯推理，从行动和语言中推断人类的目标，利用大型语言模型（LLMs）评估指令的可能性。实验结果表明，CLIPS在准确性和有效性上显著优于现有方法，如GPT-4V和单模态逆向规划，同时与人类评估者的推理和辅助判断相近。

🔬 方法详解

问题定义：本文旨在解决如何有效跟随模糊指令的问题。现有方法往往无法灵活应对指令的歧义性，导致辅助代理的表现不佳。

核心思路：CLIPS通过将人类视为合作规划者，利用其沟通的联合计划来进行推理，从而更好地理解模糊指令的意图。

技术框架：CLIPS的整体架构包括三个主要模块：人类行为建模、指令理解和目标辅助。首先，代理通过语言和行动推断人类的目标，然后进行贝叶斯推理，最后根据推断结果采取行动。

关键创新：CLIPS的主要创新在于结合了大型语言模型与贝叶斯推理，使得代理能够在不确定性下有效推断用户的目标，这与传统的指令跟随方法有本质区别。

关键设计：在设计中，CLIPS使用了多模态输入，结合语言和行为数据进行推理，采用特定的损失函数来优化目标实现成本，确保代理能够在模糊情况下做出合理决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CLIPS在两个合作规划领域的表现显著优于基线方法，如GPT-4V和单模态逆向规划。在准确性和帮助程度上，CLIPS的提升幅度达到了显著水平，表明其在模糊指令处理中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手和机器人导航等。通过提高代理对模糊指令的理解能力，CLIPS能够在实际场景中提供更为精准和有效的辅助，提升用户体验和工作效率。未来，CLIPS的技术也可能扩展到更复杂的协作任务中，推动智能系统的进一步发展。

📄 摘要（原文）

People often give instructions whose meaning is ambiguous without further context, expecting that their actions or goals will disambiguate their intentions. How can we build assistive agents that follow such instructions in a flexible, context-sensitive manner? This paper introduces cooperative language-guided inverse plan search (CLIPS), a Bayesian agent architecture for pragmatic instruction following and goal assistance. Our agent assists a human by modeling them as a cooperative planner who communicates joint plans to the assistant, then performs multimodal Bayesian inference over the human's goal from actions and language, using large language models (LLMs) to evaluate the likelihood of an instruction given a hypothesized plan. Given this posterior, our assistant acts to minimize expected goal achievement cost, enabling it to pragmatically follow ambiguous instructions and provide effective assistance even when uncertain about the goal. We evaluate these capabilities in two cooperative planning domains (Doors, Keys & Gems and VirtualHome), finding that CLIPS significantly outperforms GPT-4V, LLM-based literal instruction following and unimodal inverse planning in both accuracy and helpfulness, while closely matching the inferences and assistive judgments provided by human raters.