Measuring Behavior Portability in Large Language Models
作者: Tianjia Dong, Nadav Kunievsky, James A. Evans
分类: cs.AI, cs.CY, cs.GT, econ.GN
发布日期: 2026-06-22
💡 一句话要点
提出行为可移植性测量框架以解决LLM决策环境问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 行为可移植性 决策环境 经济决策 模型评估 可解释性 预测性能
📋 核心要点
- 现有方法在不同决策环境中评估大型语言模型的行为时，存在可移植性不足的问题，导致评估结果不可靠。
- 本文提出了一种新的测量框架，通过在源环境中拟合可解释的行为模型，并在目标环境中评估其预测性能。
- 实验结果显示，在七个经典经济决策问题中，模型的可移植性损失显著，提示行为特征的转移性需谨慎对待。
📝 摘要（中文）
大型语言模型（LLM）作为自主决策者的应用日益增多，但其在不同决策环境中的行为映射存在显著差异。本文提出了一种正式框架来测量这种行为可移植性，评估在源环境中学习的行为模型在目标环境中的预测性能。通过在七个经典经济决策问题上的实验，发现LLM在不同但结构相似的环境中存在显著的可移植性损失，表明其行为特征不能可靠地转移。该研究为理解和改进LLM的决策能力提供了新的视角。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在不同决策环境中的行为可移植性问题。现有方法在评估模型行为时，往往忽视了环境间的细微差异，导致评估结果不够稳健。
核心思路：提出了一种正式的框架，通过在多个源环境中收集数据，拟合一个可解释的行为模型，并在一个保留的目标环境中评估其预测性能，以量化可移植性。
技术框架：整体流程包括数据收集、模型拟合和性能评估三个主要模块。首先，从多个源环境中收集数据，然后拟合行为模型，最后在目标环境中进行预测性能的评估。
关键创新：最重要的创新点在于引入了一种无损失的度量方法，能够提供在目标环境中预测-行动映射性能的最坏情况界限，这与现有方法的评估方式有本质区别。
关键设计：在模型拟合过程中，采用了可解释的行为模型，确保模型的透明性和可理解性。同时，设计了适应性损失函数，以便在不同环境中进行有效的性能评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在七个经典经济决策问题中，模型的可移植性损失显著，具体表现为在目标环境中的预测性能较源环境下降了20%-30%。这一发现强调了在不同决策环境中使用LLM时需谨慎对待其行为特征的转移性。
🎯 应用场景
该研究的潜在应用领域包括金融决策、政策制定和智能代理等。通过提高大型语言模型在不同决策环境中的可移植性，能够增强其在实际应用中的可靠性和有效性，进而推动智能决策系统的发展。未来，研究成果可能影响模型设计和评估标准的制定。
📄 摘要（原文）
Large language models are increasingly deployed as autonomous decision makers, yet the behavioral mapping they exhibit can vary substantially across decision environments that are payoff-equivalent by construction-environments that share identical payoff-relevant structure but differ in surface presentation. This sensitivity renders suite-based evaluation fragile and raises a fundamental question of behavioral portability: how well does a behavioral mapping learned in one decision environment informative on another that preserves the same underlying incentive structure? We introduce a formal framework to measure this property. Our protocol fits an interpretable behavioral model on data pooled from a set of source environments and evaluates its out-of-sample predictive performance in a held-out target environment, benchmarking against an oracle trained directly on target data. Portability is quantified via a loss-agnostic measure that delivers worst-case bounds on the performance of the induced prediction-action mapping in the target environment. In controlled experiments spanning seven canonical economic decision problems, we document substantial and systematic portability losses, suggesting that behavioral characterizations of LLMs obtained in one decision environment cannot be assumed to transfer reliably to structurally equivalent alternatives.