Mapping and Measuring the Behavioral Evolution of Large Language Models
作者: Dong Qiao, Chris Ding, Jicong Fan
分类: cs.LG, cs.CL
发布日期: 2026-08-11
💡 一句话要点
提出行为映射与测量方法以分析大语言模型的演变
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 行为测量 模型演变 不相似性度量 聚类分析 自然语言处理
📋 核心要点
- 现有的基准排行榜无法有效描述语言模型之间的行为关系及其随时间的演变，限制了对模型进化的深入理解。
- 本研究提出了一种新的行为测量方法，通过构建多种不相似性度量来系统性地分析语言模型的输出行为及其变化。
- 实验结果表明，模型家族形成一致的聚类，且跨家族的行为距离随着时间的推移而减小，验证了所提方法的有效性。
📝 摘要（中文）
本研究通过对32个来自六个家族的语言模型在10,000个提示下的输出行为进行特征化，探讨了模型行为的相互关系及其随时间的变化。我们构建了三种互补的句子级不相似性度量，包括每个提示的对齐均值距离、主成分分析压缩的提示不一致性摘要，以及模型内部响应几何的无对齐Gromov-Wasserstein差异。通过这些构造，我们研究了模型的静态组织和时间变化，发现模型家族形成一致的聚类，且跨家族距离随时间减小。我们的无标签管道在重编码响应时保持了排名几何和时间趋势的符号。
🔬 方法详解
问题定义：本研究旨在解决现有语言模型评估方法无法有效描述模型行为之间关系及其演变的问题，现有方法主要依赖于性能指标，缺乏对行为特征的深入分析。
核心思路：我们通过对32个语言模型的输出进行特征化，构建三种互补的句子级不相似性度量，旨在揭示模型行为的静态组织和时间变化。
技术框架：整体架构包括响应嵌入、三种不相似性度量的构建（对齐均值距离、PCA压缩摘要、Gromov-Wasserstein差异），以及基于这些度量的聚类和行为映射分析。
关键创新：本研究的创新点在于提出了一种无标签的行为测量管道，能够在不同模型之间进行有效的行为比较，并明确了行为相似性与推理提示覆盖之间的关系。
关键设计：在技术细节上，我们使用了多种编码器进行响应重编码，并通过最大均值差异（MMD）进行交叉验证，确保了结果的一致性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型家族形成了一致的聚类结构，且跨家族的行为距离随着时间的推移显著减小。通过与基线的比较，我们的句子级均值距离与基于令牌的最大均值差异（Spearman ρ=0.98）高度一致，验证了所提方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理模型的评估与优化、模型演化分析以及跨模型的行为比较。通过深入理解模型行为的演变，研究者和开发者可以更好地设计和训练语言模型，以满足特定应用需求。
📄 摘要（原文）
Benchmark leaderboards summarize how well a language model performs, but not how its behavior relates to that of other models or changes across generations. We characterize the output behavior of 32 models from six families using their responses to a shared bank of 10{,}000 prompts. After embedding each response, we construct three complementary sentence-level dissimilarities: an aligned mean per-prompt distance, which is a pseudometric on observed model responses; a PCA-compressed summary of prompt-wise disagreement; and an alignment-free Gromov--Wasserstein discrepancy between models' internal response geometries. We use these constructions to study static organization and temporal change on a release-date axis through behavioral maps, family-wise drift, hierarchical clustering, cross-family convergence, and response-cloud dispersion. Across the three constructions, model families form coherent clusters, with \texttt{gpt-2} as a global outlier; cross-family distances decrease over time; and several recent reasoning-oriented models have comparatively compact response clouds. A token-level cross-check based on per-prompt Maximum Mean Discrepancy closely agrees with the sentence-level mean distance (Spearman $ρ=0.98$) and recovers the same qualitative findings. We organize these comparisons through a measure-theoretic lens making their alignment and invariance assumptions explicit. We also establish an architecture-agnostic sufficient condition linking behavioral similarity to inference-prompt coverage, small excess population log-loss, and similar effective target distributions---a possible training-side account rather than an empirical explanation of the observed trends. Our pipeline is label-free, and re-encoding every response with three further encoders---down to one $73\times$ smaller---preserves the rank geometry, the outliers, and the sign of the time trend.