STEER: Assessing the Economic Rationality of Large Language Models

📄 arXiv: 2402.09552v2 📥 PDF

作者: Narun Raman, Taylor Lundy, Samuel Amouyal, Yoav Levine, Kevin Leyton-Brown, Moshe Tennenholtz

分类: cs.CL, econ.GN

发布日期: 2024-02-14 (更新: 2024-05-28)

💡 一句话要点

提出STEER方法评估大型语言模型的经济理性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 经济理性 决策代理 评估方法 实证实验

📋 核心要点

  1. 现有方法在评估大型语言模型的经济理性方面缺乏系统性，难以判断其作为决策代理的可靠性。
  2. 论文提出了一种基于经济决策文献的评估框架，定义了代理应具备的细致元素及其评分方法。
  3. 通过对14种LLMs的实证实验，展示了不同模型规模对其理性行为表现的影响，提供了实用的评估工具。

📝 摘要（中文）

随着对大型语言模型（LLMs）作为决策“代理”的兴趣日益增加，如何评估其经济理性成为关键问题。本文提供了一种评估方法，首先对经济决策文献进行调查，分类出代理应展现的细致“元素”及其依赖关系。接着，提出了一种基准分布，定量评分LLMs在这些元素上的表现，并结合用户提供的评分标准生成“STEER报告卡”。最后，通过对14种不同LLMs的大规模实证实验，描述了当前的技术状态及不同模型规模对理性行为表现的影响。

🔬 方法详解

问题定义：本文旨在解决如何系统性地评估大型语言模型（LLMs）作为决策代理的经济理性。现有方法缺乏对模型表现的细致分析，难以判断其可靠性和有效性。

核心思路：论文通过调查经济决策文献，定义了一系列代理应展现的细致“元素”，并提出了一种基准分布来量化评分。这种方法结合用户提供的评分标准，形成了“STEER报告卡”。

技术框架：整体架构包括三个主要模块：文献调查与元素分类、基准分布的构建、以及实证实验的设计与实施。通过这些模块，能够系统地评估LLMs的表现。

关键创新：最重要的创新在于提出了一个系统化的评估框架，能够细致地量化LLMs在经济理性方面的表现，并与传统评估方法形成鲜明对比。

关键设计：在设计中，关键参数包括评分元素的选择和基准分布的构建，损失函数则侧重于模型在不同元素上的表现，确保评估的全面性和准确性。通过这些设计，能够有效地反映模型的经济理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，14种不同的LLMs在经济理性方面的表现存在显著差异，某些模型在特定任务上表现出更高的理性评分。通过STEER报告卡，用户能够直观地比较不同模型的表现，为选择合适的决策代理提供依据。

🎯 应用场景

该研究的潜在应用领域包括金融决策、智能客服、自动化决策系统等。通过提供一种系统化的评估工具，能够帮助开发者和研究者更好地理解和优化大型语言模型在实际决策中的表现，提升其应用价值和可靠性。

📄 摘要（原文）

There is increasing interest in using LLMs as decision-making "agents." Doing so includes many degrees of freedom: which model should be used; how should it be prompted; should it be asked to introspect, conduct chain-of-thought reasoning, etc? Settling these questions -- and more broadly, determining whether an LLM agent is reliable enough to be trusted -- requires a methodology for assessing such an agent's economic rationality. In this paper, we provide one. We begin by surveying the economic literature on rational decision making, taxonomizing a large set of fine-grained "elements" that an agent should exhibit, along with dependencies between them. We then propose a benchmark distribution that quantitatively scores an LLMs performance on these elements and, combined with a user-provided rubric, produces a "STEER report card." Finally, we describe the results of a large-scale empirical experiment with 14 different LLMs, characterizing the both current state of the art and the impact of different model sizes on models' ability to exhibit rational behavior.