Procedural Adherence and Interpretability Through Neuro-Symbolic Generative Agents

📄 arXiv: 2402.16905v2 📥 PDF

作者: Raven Rothkopf, Hannah Tongxin Zeng, Mark Santolucito

分类: cs.AI, cs.LG, cs.LO

发布日期: 2024-02-24 (更新: 2024-08-28)

备注: 11 pages

💡 一句话要点

提出神经符号生成代理以解决交互代理的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 交互代理 程序合成 时间流逻辑 可解释性 生成模型 自动机

📋 核心要点

  1. 现有的LLM方法在处理交互代理的长期时间行为时存在不足，难以保证一致性和可解释性。
  2. 本研究提出结合形式逻辑程序合成与LLM生成的方法，通过自动机实现高层次时间结构的可解释性。
  3. 实验结果表明，增强型代理在程序遵循性方面显著优于传统LLM代理，达到了96%的遵循率。

📝 摘要（中文）

大型语言模型（LLMs）的流行为交互代理的创建开辟了新途径。然而，管理和解释这些代理在潜在无限交互过程中的时间行为仍然具有挑战性。我们提出结合基于形式逻辑的程序合成与LLM内容生成的方法，以确保生成代理行为的程序遵循性和可解释性。通过使用时间流逻辑（TSL）生成自动机，我们为代理施加了可解释的高层次时间结构，使其能够在交互中跟踪上下文并做出决策，从而引导对话。我们在创建专门生成选择你自己冒险游戏的交互代理的不同任务上评估了该方法，结果显示，增强型代理在程序遵循性方面达到了至少96%的约束遵循率，而纯LLM代理的遵循率仅为14.67%。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在交互代理中的时间行为管理和可解释性不足的问题。现有方法在处理长期交互时，难以保证一致性和可解释性，导致生成内容的质量和可靠性下降。

核心思路：我们提出结合形式逻辑的程序合成与LLM内容生成的方法，通过构建自动机来施加可解释的时间结构，从而引导代理的行为，使其在交互中能够更好地跟踪上下文并做出合理决策。

技术框架：整体架构包括两个主要模块：首先，使用时间流逻辑（TSL）生成自动机，其次，利用LLM生成内容。自动机负责管理时间结构和上下文跟踪，而LLM则专注于生成短期内容。

关键创新：本研究的关键创新在于将形式逻辑与生成模型相结合，确保了生成代理的程序遵循性和可解释性。这一方法与传统的纯LLM方法相比，显著提高了代理的行为一致性。

关键设计：在设计中，我们设置了自动机的状态转移规则，以确保其能够准确反映时间约束，并通过优化损失函数来提高生成内容的质量和相关性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，增强型代理在程序遵循性方面达到了至少96%的约束遵循率，而传统的纯LLM代理仅为14.67%。这一显著提升表明，结合自动机的生成代理在处理复杂交互任务时具有更高的可靠性和一致性。

🎯 应用场景

该研究的潜在应用领域包括游戏设计、教育工具和智能助手等，能够为用户提供更具交互性和可控性的体验。通过提高代理的可解释性和遵循性，未来的智能系统将更容易被用户理解和信任，从而推动人机交互的进一步发展。

📄 摘要（原文）

The surge in popularity of large language models (LLMs) has opened doors for new approaches to the creation of interactive agents. However, managing and interpreting the temporal behavior of such agents over the course of a potentially infinite interaction remain challenging. The stateful, long-term horizon reasoning required for coherent agent behavior does not fit well into the LLM paradigm. We propose a combination of formal logic-based program synthesis and LLM content generation to bring guarantees of procedural adherence and interpretability to generative agent behavior. To illustrate the benefit of procedural adherence and interpretability, we use Temporal Stream Logic (TSL) to generate an automaton that enforces an interpretable, high-level temporal structure on an agent. With the automaton tracking the context of the interaction and making decisions to guide the conversation accordingly, we can drive content generation in a way that allows the LLM to focus on a shorter context window. We evaluated our approach on different tasks involved in creating an interactive agent specialized for generating choose-your-own-adventure games. We found that over all of the tasks, an automaton-enhanced agent with procedural guarantees achieves at least 96% adherence to its temporal constraints, whereas a purely LLM-based agent demonstrates as low as 14.67% adherence.