Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems
作者: Zhongchao Zhou, Yixuan Xie, Wenwei Yu, Yuxi Lu, Yaonan Zhu, Qian Niu, Yutaka Matsuo, Yusuke Iwasawa
分类: cs.RO, eess.SY
发布日期: 2026-08-07
💡 一句话要点
提出CoDyControlBench以解决复杂动态系统反馈控制设计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 反馈控制设计 复杂动态系统 推理蒸馏 边缘部署 控制器类型 系统评估 设计成功率
📋 核心要点
- 现有方法主要集中于线性系统，复杂动态系统的反馈控制设计尚未得到充分研究，导致性能和可行性不明确。
- 本文提出了复杂动态到控制基准（CoDyControlBench），涵盖多种系统配置，评估大型语言模型在反馈控制设计中的能力。
- 实验结果表明，GPT模型在设计成功率上表现最佳，而通过推理蒸馏的模型在边缘部署中表现出色，展示了实际应用潜力。
📝 摘要（中文）
尽管大型语言模型（LLMs）在科学领域展现了显著能力，但反馈控制设计仍未得到充分探索。现有基准主要集中于线性单自由度系统和大型API托管模型，复杂控制设计任务的性能和边缘部署的可行性尚不明确。为此，本文引入了复杂动态到控制基准（CoDyControlBench），涵盖132个系统配置，评估维度包括自由度数量、系统类型、耦合水平、阻尼机制和控制器类型。通过对六个最先进的LLMs进行评估，结果显示GPT在设计成功率上达到94.8%，而Qwen最低为50.0%。在边缘部署方面，开发了一种专门的1.5B参数模型，通过推理蒸馏提升了性能，展示了轻量级控制设计模型的潜力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在复杂动态系统反馈控制设计中的应用不足，现有方法主要集中于线性单自由度系统，缺乏对复杂控制任务的评估和边缘部署的研究。
核心思路：通过引入复杂动态到控制基准（CoDyControlBench），系统评估不同LLMs在多种系统配置下的反馈控制设计能力，特别关注模型在复杂任务中的表现。
技术框架：整体架构包括基准的设计、模型评估和推理蒸馏三个主要模块。基准设计涵盖132个系统配置，模型评估通过对比不同LLMs的设计成功率，推理蒸馏则用于提升边缘部署模型的性能。
关键创新：最重要的技术创新在于提出了CoDyControlBench基准，系统性地评估了LLMs在复杂动态系统中的反馈控制设计能力，并开发了推理蒸馏模型以优化边缘部署性能。
关键设计：在模型评估中，重点关注自由度数量和控制器类型对设计成功率的影响，推理蒸馏模型采用了1.5B参数设置，确保在1-6自由度下的稳定性能。实验中还使用了特定的损失函数和网络结构设计，以提高模型的控制设计能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT模型在CoDyControlBench基准上取得了94.8%的设计成功率，而Qwen模型仅为50.0%。推理蒸馏模型在边缘部署中表现优异，成功实现了在所有三次物理实验中对气动人工肌肉驱动的机器人手臂的目标跟踪，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化系统和智能制造等，能够为复杂动态系统的反馈控制设计提供新的思路和工具。通过轻量级模型的边缘部署，能够在资源受限的环境中实现高效控制，具有重要的实际价值和未来影响。
📄 摘要（原文）
Although remarkable capabilities have been demonstrated by Large Language Models (LLMs) across scientific domains, feedback controller design remains underexplored. Existing benchmarks focus mainly on linear single-Degree-of-Freedom (DoF) systems and large API-hosted models, leaving performance on complex controller-design tasks and feasibility for edge deployment unclear. To address these limitations, we introduce the Complex Dynamics-to-Control Benchmark for Large Language Models (CoDyControlBench), comprising 132 system configurations across five evaluation dimensions: number of DoF, system type, coupling level, damping regime, and controller type. Six state-of-the-art LLMs were evaluated over three independent runs, including three commercial models (GPT, Gemini, and Claude) and three open-source models (GLM, DeepSeek, and Qwen). GPT achieved the highest design success rate at 94.8\%, whereas Qwen showed the lowest rate at 50.0\%. Across the benchmark dimensions, DoF and controller type exhibited the largest model-averaged variations in design success, with success-rate ranges of 36.3\% and 17.6\%, respectively, exceeding those associated with system type, coupling level, and damping regime. Comparison of GPT and Qwen showed that their performance gap arose mainly from the control-design knowledge, particularly gain selection and the use of transient-limiting mechanisms. For edge deployment, a specialized 1.5B-parameter model was developed through reasoning distillation. The reasoning-distilled model outperformed the answer-distilled and base model on CoDyControlBench, maintained stable performance across 1-6 DoFs, and achieved successful traget tracking in all three physical trials on a pneumatic-artificial-muscle-driven robotic arm. These results establish a benchmark baseline and highlight the potential of lightweight, edge-deployable controller-design models.