Assessing the Interpretability of Programmatic Policies with Large Language Models

📄 arXiv: 2311.06979v2 📥 PDF

作者: Zahra Bashir, Michael Bowling, Levi H. S. Lelis

分类: cs.AI, cs.PL, cs.SE

发布日期: 2023-11-12 (更新: 2024-01-20)

备注: This paper is under-review for IJCAI. The main file is arxiv.tex and I have a supplementary_materials.tex file as well

💡 一句话要点

提出一种新指标以评估程序化政策的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 大型语言模型 程序化政策 自然语言处理 评估指标 人工智能 自动化决策

📋 核心要点

  1. 现有方法缺乏系统性评估程序化政策的可解释性，导致难以判断其有效性。
  2. 论文提出了一种基于大型语言模型的指标，通过自然语言解释和程序重构来评估可解释性。
  3. 实验结果表明，该指标能够有效区分可解释性高低的程序，且与混淆版本的程序对比结果一致。

📝 摘要（中文）

尽管程序化政策的合成通常承诺可解释性，但由于评估的复杂性，系统性评估一直未能进行。本文提出了一种新颖的指标，利用大型语言模型（LLM）来评估程序化政策的可解释性。该指标通过给LLM提供程序及其编程语言描述，LLM生成自然语言解释，并将其输入到第二个LLM中以重构程序。通过对比合成和人工创建的程序化政策的可解释性得分，验证了该方法的有效性，结果表明该指标能够可靠且低成本地评估程序化政策的可解释性。

🔬 方法详解

问题定义：本文旨在解决程序化政策可解释性评估缺乏系统性的方法，现有方法未能有效评估其复杂性和可理解性。

核心思路：通过利用大型语言模型，首先生成程序的自然语言解释，然后再通过第二个LLM重构该程序，从而评估其可解释性。

技术框架：整体流程包括两个主要模块：第一个LLM负责生成自然语言解释，第二个LLM则尝试从该解释中重构原程序，最终通过比较重构程序与原程序的行为相似性来评估可解释性。

关键创新：该研究的创新点在于引入了LLM作为评估工具，通过自然语言处理技术实现了对程序可解释性的量化评估，与传统方法相比，提供了更为直观和有效的评估手段。

关键设计：在设计中，LLM的输入包括程序及其编程语言描述，输出为自然语言解释，重构过程则依赖于LLM的理解能力和生成能力，确保评估的准确性和可靠性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，基于LLM的可解释性得分能够有效区分不同程序的可解释性，且与混淆版本的程序相比，得分较低的程序在可解释性上表现一致，验证了该指标的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括自动化决策系统、智能代理和游戏AI等，能够帮助开发者理解和优化程序化政策的可解释性，提高系统的透明度和用户信任度。未来，该方法可能在政策制定、法律合规等领域发挥重要作用。

📄 摘要（原文）

Although the synthesis of programs encoding policies often carries the promise of interpretability, systematic evaluations were never performed to assess the interpretability of these policies, likely because of the complexity of such an evaluation. In this paper, we introduce a novel metric that uses large-language models (LLM) to assess the interpretability of programmatic policies. For our metric, an LLM is given both a program and a description of its associated programming language. The LLM then formulates a natural language explanation of the program. This explanation is subsequently fed into a second LLM, which tries to reconstruct the program from the natural-language explanation. Our metric then measures the behavioral similarity between the reconstructed program and the original. We validate our approach with synthesized and human-crafted programmatic policies for playing a real-time strategy game, comparing the interpretability scores of these programmatic policies to obfuscated versions of the same programs. Our LLM-based interpretability score consistently ranks less interpretable programs lower and more interpretable ones higher. These findings suggest that our metric could serve as a reliable and inexpensive tool for evaluating the interpretability of programmatic policies.