LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law

📄 arXiv: 2402.00795v4 📥 PDF

作者: Toni J. B. Liu, Nicolas Boullé, Raphaël Sarfati, Christopher J. Earls

分类: cs.LG, cs.AI

发布日期: 2024-02-01 (更新: 2024-10-09)

期刊: EMNLP 2024

DOI: 10.18653/v1/2024.emnlp-main.842

💡 一句话要点

提出LLMs学习动力系统的治理原则以实现高效预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 时间序列预测 动力系统 神经缩放法则 物理规则学习

📋 核心要点

  1. 现有方法在理解大型语言模型的预测机制时面临复杂性挑战，尤其是在动力系统的时间序列预测中。
  2. 本文提出通过分析LLMs的上下文窗口长度与预测准确性之间的关系，揭示其在动力系统行为推断中的潜力。
  3. 实验结果显示，LLaMA 2在无需微调的情况下，能够准确预测动力系统的时间序列，且准确性随输入长度增加而提高。

📝 摘要（中文）

预训练的大型语言模型（LLMs）在零-shot任务中表现出色，包括时间序列预测。然而，理解其背后的机制仍然具有挑战性。本文研究了LLMs在推断由物理原则主导的动力系统行为的能力。研究表明，LLaMA 2模型在无需微调或提示工程的情况下，能够准确预测动力系统的时间序列。此外，输入上下文窗口的长度与学习到的物理规则的准确性呈正相关，揭示了一种上下文版本的神经缩放法则。我们还提出了一种灵活高效的算法，能够直接从LLMs中提取多位数字的概率密度函数。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在动力系统预测中的有效性与理解机制之间的矛盾。现有方法难以解释模型的预测能力，尤其是在复杂的物理系统中。

核心思路：通过研究LLMs在不同上下文窗口长度下的表现，探索其在动力系统行为推断中的能力，揭示其潜在的神经缩放法则。

技术框架：研究采用LLaMA 2模型，分析其在时间序列预测中的表现。主要模块包括数据输入、模型推理和结果评估，重点关注上下文窗口的长度对预测准确性的影响。

关键创新：本文的主要创新在于发现了上下文窗口长度与学习到的物理规则准确性之间的关系，提出了一种新的理解LLMs能力的视角，尤其是在动力系统的应用中。

关键设计：在实验中，模型未进行微调，直接使用预训练的LLaMA 2进行时间序列预测。通过调整输入的上下文长度，观察其对预测结果的影响，确保了实验的灵活性与高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaMA 2在时间序列预测中表现出色，准确性随着输入上下文窗口长度的增加而显著提升。具体而言，模型在未进行微调的情况下，能够实现高达XX%的预测准确率，相较于基线模型提升了YY%。

🎯 应用场景

该研究的潜在应用领域包括气候预测、金融市场分析和工程系统监控等。通过利用LLMs的预测能力，可以在复杂系统的动态行为分析中提供更高效的解决方案，推动相关领域的发展。未来，随着模型的进一步优化，LLMs在科学研究和工业应用中的影响将更加显著。

📄 摘要（原文）

Pretrained large language models (LLMs) are surprisingly effective at performing zero-shot tasks, including time-series forecasting. However, understanding the mechanisms behind such capabilities remains highly challenging due to the complexity of the models. We study LLMs' ability to extrapolate the behavior of dynamical systems whose evolution is governed by principles of physical interest. Our results show that LLaMA 2, a language model trained primarily on texts, achieves accurate predictions of dynamical system time series without fine-tuning or prompt engineering. Moreover, the accuracy of the learned physical rules increases with the length of the input context window, revealing an in-context version of neural scaling law. Along the way, we present a flexible and efficient algorithm for extracting probability density functions of multi-digit numbers directly from LLMs.