Control Foundation Models across Changing Block Diagrams: Generalizing Time-Series Prediction to Dynamic Graphs
作者: Yuji Okamoto, Kenta Hoshino, Masaki Inoue
分类: eess.SY, cs.LG
发布日期: 2026-11-02
💡 一句话要点
提出控制基础模型以解决动态图中的时间序列预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态图 时间序列预测 控制基础模型 图神经网络 Block Diagram Transformer 响应预测 控制输入生成
📋 核心要点
- 现有方法在处理控制实验数据时，信号连接随实验阶段变化，导致预测和控制难以统一处理。
- 本文提出的控制基础模型通过定义动态图数据空间，能够统一处理信号值和连接结构，简化了响应预测与控制输入生成的过程。
- 在控制实验数据上训练的模型成功稳定了一个不稳定的系统，显示出比现有时间序列基础模型微调更优的控制效果。
📝 摘要（中文）
在物理系统的预测与控制中，结合不同实验和操作的记录能够提供单一实验无法提供的信息。时间序列基础模型通过学习多样时间序列的共享预测器，为将这些记录视为共同训练资源提供了框架。然而，在控制实验数据中，信号之间的连接会随着实验阶段而变化，这需要一种能够动态处理信号值和连接结构的统一方法。本文提出了一种控制基础模型，定义了包含连接、信号值和缺失值的动态图数据空间，并在此空间上进行操作，指定已知信号和预测目标。通过这种方式，即使在具有不同连接和记录信号的实验数据中，响应预测和控制输入生成也可以被描述为一个共同的掩蔽预测问题。Block Diagram Transformer（BDT）实现了这一框架，结合了时间轴上的注意力机制与遵循框图连接的图神经网络，并可以使用现有时间序列基础模型的预训练参数进行初始化。
🔬 方法详解
问题定义：本文旨在解决在控制实验数据中，信号连接随实验阶段变化而导致的响应预测和控制输入生成的统一处理问题。现有方法难以有效应对这种动态变化。
核心思路：通过提出控制基础模型，定义一个包含动态图的数据信息空间，能够同时处理信号值和连接结构的变化，从而实现对不同实验数据的统一预测和控制。
技术框架：整体架构包括动态图数据空间的定义、已知信号与预测目标的指定，以及基于Block Diagram Transformer（BDT）的实现。BDT结合了时间轴的注意力机制与图神经网络，能够有效捕捉信号之间的动态关系。
关键创新：最重要的创新在于将动态图的概念引入控制基础模型，使得即使在信号连接变化的情况下，也能将响应预测和控制输入生成视为一个共同的掩蔽预测问题。这一方法与传统的静态模型形成了本质区别。
关键设计：模型的关键设计包括动态图的构建、掩蔽预测的损失函数，以及BDT的网络结构，能够利用现有时间序列基础模型的预训练参数进行初始化，提升了模型的训练效率和效果。
🖼️ 关键图片
📊 实验亮点
在控制实验数据上，提出的模型成功稳定了一个不稳定的系统，相较于传统的时间序列基础模型微调，显示出更优的控制效果。具体性能数据和提升幅度尚未公开，但初步结果表明该方法具有良好的适应性和稳定性。
🎯 应用场景
该研究的潜在应用领域包括自动控制系统、机器人控制、智能制造等。通过提供一种统一的预测与控制方法，能够在多种动态环境中实现更高效的系统稳定性和响应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
In the prediction and control of physical systems, combining records from different experiments and operations is expected to supply information that no single experiment provides on its own. Time-series foundation models, which learn a shared predictor from diverse time series, offer a framework for treating such records as a common training resource. Moreover, query-based prediction models, which switch between known and target signals within the same time series, make it possible to handle response prediction and control-input generation in a unified manner. However, in control-experiment data, the connections between signals change with the experimental stage, such as system identification, filtering, and feedback control, which calls for a formulation that handles signal values and connection structures dynamically and in a unified way. We formulate a control foundation model that defines a data space of dynamic graphs containing connections, signal values, and missing values, together with an operation on this space that specifies the known signals and the prediction targets. This allows response prediction and control-input generation to be described as a common masked prediction problem, even for experimental data with different connections and recorded signals. The Block Diagram Transformer (BDT), which implements this formulation, combines attention along the time axis with a graph neural network that follows the block-diagram connections, and can be initialized with the pretrained parameters of existing time-series foundation models. Trained on control-experiment data that mix multiple experimental settings, the proposed model stabilized an unstable system through feedback control, which is difficult to achieve by fine-tuning existing time-series foundation models. Ongoing work applying this approach to a wide range of target systems is also yielding promising results.