LLM-driven Imitation of Subrational Behavior : Illusion or Reality?
作者: Andrea Coletta, Kshama Dwarakanath, Penghang Liu, Svitlana Vyetrenko, Tucker Balch
分类: cs.AI, econ.GN
发布日期: 2024-02-13
💡 一句话要点
提出利用LLM生成合成示范以建模亚理性行为
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 亚理性行为 模仿学习 合成示范 人类行为建模 决策支持系统 经济学
📋 核心要点
- 现有方法在建模亚理性代理时面临数据收集和模型校准的挑战，限制了对人类行为的理解。
- 本文提出利用大型语言模型生成合成示范，通过模仿学习来学习亚理性代理的行为策略。
- 实验结果表明，框架能够有效复制经典实验的结果，验证了其在建模亚理性行为方面的有效性。
📝 摘要（中文）
建模亚理性代理（如人类或经济家庭）具有内在挑战，主要由于强化学习模型的校准困难和人类受试者数据的收集问题。现有研究表明，大型语言模型（LLMs）能够处理复杂推理任务并模仿人类交流。本文提出利用LLMs生成合成的人类示范，进而通过模仿学习来学习亚理性代理策略。我们假设LLMs可以作为人类的隐式计算模型，并提出一个框架，使用来自LLMs的合成示范来建模人类特有的亚理性行为。通过四个简单场景的实验评估，我们能够复制先前人类研究的已建立发现，验证了框架的有效性，并讨论了其潜在的益处、挑战和局限性。
🔬 方法详解
问题定义：本文旨在解决如何有效建模亚理性代理的问题，现有方法在数据收集和模型校准方面存在显著困难。
核心思路：通过利用大型语言模型生成合成的人类行为示范，进而应用模仿学习来学习亚理性代理的策略，假设LLMs可以作为人类行为的隐式计算模型。
技术框架：整体框架包括合成示范生成模块、模仿学习模块和亚理性行为评估模块，首先生成合成示范，然后通过模仿学习提取策略，最后评估模型的表现。
关键创新：本研究的创新在于将LLMs作为生成合成示范的工具，突破了传统方法在数据获取上的限制，提供了一种新的建模亚理性行为的思路。
关键设计：在合成示范生成过程中，采用特定的提示设计和参数设置，以确保生成的示范能够真实反映人类的亚理性行为特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架能够有效复制经典的博弈论实验（如最后通牒游戏和棉花糖实验）的结果，验证了其在建模亚理性行为方面的有效性，且在多个场景中表现出与人类行为一致的策略选择。
🎯 应用场景
该研究的潜在应用领域包括经济学、心理学和人工智能等，能够帮助研究人员更好地理解和预测人类行为，进而在决策支持系统、市场分析和人机交互等方面发挥重要作用。未来，随着技术的进步，该框架可能会在更复杂的场景中得到应用，推动相关领域的发展。
📄 摘要（原文）
Modeling subrational agents, such as humans or economic households, is inherently challenging due to the difficulty in calibrating reinforcement learning models or collecting data that involves human subjects. Existing work highlights the ability of Large Language Models (LLMs) to address complex reasoning tasks and mimic human communication, while simulation using LLMs as agents shows emergent social behaviors, potentially improving our comprehension of human conduct. In this paper, we propose to investigate the use of LLMs to generate synthetic human demonstrations, which are then used to learn subrational agent policies though Imitation Learning. We make an assumption that LLMs can be used as implicit computational models of humans, and propose a framework to use synthetic demonstrations derived from LLMs to model subrational behaviors that are characteristic of humans (e.g., myopic behavior or preference for risk aversion). We experimentally evaluate the ability of our framework to model sub-rationality through four simple scenarios, including the well-researched ultimatum game and marshmallow experiment. To gain confidence in our framework, we are able to replicate well-established findings from prior human studies associated with the above scenarios. We conclude by discussing the potential benefits, challenges and limitations of our framework.