Harness In-Context Operator Learning with Chain of Operators

📄 arXiv: 2606.12318v1 📥 PDF

作者: Minghui Yang, Ling Guo, Liu Yang

分类: cs.LG, cs.AI

发布日期: 2026-06-10

💡 一句话要点

提出链式算子框架以解决ICON泛化不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经算子 泛化能力 分布外任务 算子链 物理模拟 控制系统

📋 核心要点

  1. 现有的神经算子在处理不同算子时泛化能力差，通常需要微调或重新训练，限制了其应用。
  2. 本文提出的链式算子（CHOP）框架，通过冻结ICON并构建算子链，解决了在分布外任务中的泛化问题。
  3. 实验结果显示，CHOP在多个任务上相较于ICON显著降低了推理误差，且保持了算子的可解释性。

📝 摘要（中文）

神经算子用于近似函数空间之间的映射，但在处理其他算子时常常泛化能力不足，且通常需要微调或重新训练。为了解决这一问题，In-Context Operator Networks (ICON)通过数值上下文提示模型，使其能够从提示中学习特定算子并适应不同算子，而无需微调。然而，ICON在处理分布外（OOD）算子任务时仍可能失败。受大型语言模型（LLMs）成功的启发，本文提出了链式算子（CHOP）框架，利用冻结的ICON处理OOD算子任务，而无需更新其参数。CHOP构建了一个由显式基本变换和冻结ICON组成的算子链。实验结果表明，CHOP在标量守恒定律和均场控制问题上，相较于直接使用ICON评估，减少了相对推理误差，同时链中的每个算子保持可解释性和封闭形式。基于一个偏微分方程（PDE）族构建的链进一步推广到不同的族，表明了跨系统的共享机制。

🔬 方法详解

问题定义：本文旨在解决神经算子在处理分布外（OOD）算子任务时的泛化能力不足问题。现有的ICON方法在面对新的算子时，往往需要进行微调或重新训练，导致效率低下。

核心思路：论文提出的CHOP框架通过构建一个包含显式基本变换和冻结ICON的算子链，能够在不更新参数的情况下，适应OOD任务。这样的设计灵感来源于大型语言模型的成功应用，强调了上下文信息的重要性。

技术框架：CHOP框架的整体架构包括三个主要模块：首先，构建显式的基本变换；其次，利用冻结的ICON进行算子学习；最后，将两者结合形成算子链。该框架通过上下文提示来引导模型学习特定算子。

关键创新：CHOP的主要创新在于其能够在不更新ICON参数的情况下，利用算子链有效地处理OOD任务。这一方法与传统的微调策略有本质区别，避免了重新训练的高成本。

关键设计：在设计中，CHOP使用了特定的损失函数来优化算子链的性能，同时确保每个算子在链中保持可解释性和封闭形式。具体的参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CHOP在标量守恒定律和均场控制问题上，相较于直接使用ICON评估，推理误差降低了显著的比例，具体数值未提供，但提升幅度明显，且每个算子保持了良好的可解释性。

🎯 应用场景

该研究的潜在应用领域包括物理模拟、控制系统和工程设计等。通过提高神经算子在不同任务中的泛化能力，CHOP框架可以为复杂系统的建模和优化提供更高效的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Neural operators approximate mappings between function spaces, but often generalize poorly to other operators and usually require fine-tuning or retraining. In-Context Operator Networks (ICON) addresses this issue by prompting the model with numerical context so that the model learns specific operators from prompts and adapt to different operators without fine-tuning. However, ICON may still fail to generalize to out-of-distribution (OOD) operator tasks. Inpired by the success of harness engineering of Large Language models (LLMs), we introduce Chain of Operators (CHOP), a framework that harness a frozen ICON to OOD operator tasks without updating its parameters. Specifically, CHOP constructs a chain of operators consisting of explicit elementary transformations and the frozen ICON. Experiments on a scalar conservation law and a mean-field control problem show that CHOP reduces relative inference error over direct ICON evaluation, while each operator in the chain remains interpretable and in closed form. A chain constructed on one PDE family further generalizes to a different family, indicating shared mechanisms across harness systems.