OptiMind: Teaching LLMs to Think Like Optimization Experts

📄 arXiv: 2509.22979v1 📥 PDF

作者: Zeyi Chen, Xinzhi Zhang, Humishka Zope, Hugo Barbalho, Konstantina Mellou, Marco Molinaro, Janardhan Kulkarni, Ishai Menache, Sirui Li

分类: cs.LG

发布日期: 2025-09-26

💡 一句话要点

OptiMind：教导LLM像优化专家一样思考，提升混合整数线性规划建模精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学规划 混合整数线性规划 优化建模 数据清洗 多轮推理 领域知识 错误分析

📋 核心要点

  1. 现有方法在将自然语言转化为优化模型时，受限于训练数据不足和噪声，以及缺乏对优化领域知识的有效利用，导致准确率不高。
  2. OptiMind通过数据清洗和多轮推理策略，将优化领域的专业知识融入LLM，指导LLM进行迭代优化，从而提升建模精度。
  3. 实验结果表明，OptiMind方法在多个LLM上，平均提升了14个百分点的建模精度，显著提高了LLM辅助优化建模的性能。

📝 摘要（中文）

数学规划是将运营和决策问题用精确的数学语言表达的关键技术，但需要专业的运筹学知识。大型语言模型（LLM）在复杂推理方面的最新进展激发了人们对自动化此任务的兴趣，即把自然语言翻译成可执行的优化模型。然而，由于缺乏领域知识，以及训练数据稀缺且噪声大，现有方法的准确性有限。本文系统地整合了优化领域的专业知识，以提高混合整数线性规划（数学规划的一个关键分支）的建模精度。该方法首先通过基于类别的错误分析来清理训练数据，显式地防止每个优化类中的常见错误。然后，开发多轮推理策略，利用特定于类的错误摘要和求解器反馈来指导LLM，从而实现迭代改进。在多个基础LLM上的实验表明，将清理后的数据与领域相关的提示和反馈相结合，平均可将建模精度提高14个百分点，从而进一步推动了LLM辅助优化建模的进展。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在混合整数线性规划（MILP）建模任务中准确率低的问题。现有方法的痛点在于缺乏足够的、高质量的训练数据，并且没有充分利用优化领域的专业知识来指导LLM的学习和推理过程。这导致LLM容易犯一些在优化领域专家看来很明显的错误，从而影响了最终模型的质量。

核心思路：论文的核心思路是将优化领域的专业知识融入到LLM的学习和推理过程中。具体来说，首先通过错误分析来识别常见的建模错误，然后利用这些错误信息来清洗训练数据，并设计多轮推理策略，引导LLM逐步改进其建模结果。这种方法借鉴了人类专家解决问题的思路，即通过不断学习和反思来提高自身的技能。

技术框架：OptiMind的技术框架主要包括两个阶段：数据清洗和多轮推理。在数据清洗阶段，首先对训练数据进行错误分析，识别出常见的建模错误，然后根据这些错误信息来过滤和修正训练数据，从而提高训练数据的质量。在多轮推理阶段，LLM首先根据自然语言描述生成一个初始的MILP模型，然后利用求解器对该模型进行求解，并根据求解结果和错误摘要来对模型进行迭代改进。这个过程会重复多次，直到模型达到一定的精度要求或者达到最大迭代次数。

关键创新：OptiMind的关键创新在于将优化领域的专业知识融入到LLM的学习和推理过程中。具体来说，它通过错误分析来识别常见的建模错误，并利用这些错误信息来指导数据清洗和多轮推理过程。这种方法与现有方法的本质区别在于，它不仅仅依赖于大量的训练数据，还充分利用了优化领域的专业知识，从而提高了LLM的建模能力。

关键设计：在数据清洗阶段，论文采用了基于类别的错误分析方法，即根据不同的优化问题类别来识别不同的建模错误。在多轮推理阶段，论文设计了一种基于错误摘要和求解器反馈的迭代改进策略。错误摘要包含了LLM在上一轮推理中犯的错误信息，求解器反馈则包含了模型的可行性和最优性信息。LLM会根据这些信息来调整其建模策略，从而逐步提高模型的质量。具体的参数设置和网络结构等技术细节在论文中没有详细描述，属于未知信息。

📊 实验亮点

实验结果表明，OptiMind方法在多个基础LLM上，平均提升了14个百分点的建模精度。与没有进行数据清洗和多轮推理的基线方法相比，OptiMind能够显著提高LLM的建模能力，使其更接近于优化领域专家的水平。这些结果表明，将领域知识融入LLM的学习和推理过程是提高其性能的有效途径。

🎯 应用场景

OptiMind具有广泛的应用前景，可以应用于供应链管理、资源分配、生产调度、金融投资等领域。通过将自然语言描述转化为可执行的优化模型，OptiMind可以帮助企业和组织更高效地解决复杂的决策问题，提高运营效率和降低成本。未来，OptiMind有望成为一种通用的优化建模工具，为各行各业提供智能化决策支持。

📄 摘要（原文）

Mathematical programming -- the task of expressing operations and decision-making problems in precise mathematical language -- is fundamental across domains, yet remains a skill-intensive process requiring operations research expertise. Recent advances in large language models for complex reasoning have spurred interest in automating this task, translating natural language into executable optimization models. Current approaches, however, achieve limited accuracy, hindered by scarce and noisy training data without leveraging domain knowledge. In this work, we systematically integrate optimization expertise to improve formulation accuracy for mixed-integer linear programming, a key family of mathematical programs. Our approach first cleans training data through class-based error analysis to explicitly prevent common mistakes within each optimization class. We then develop multi-turn inference strategies that guide LLMs with class-specific error summaries and solver feedback, enabling iterative refinement. Experiments across multiple base LLMs demonstrate that combining cleaned data with domain-informed prompting and feedback improves formulation accuracy by 14 percentage points on average, enabling further progress toward robust LLM-assisted optimization formulation.