MiniOpt: Reasoning to Model and Solve General Optimization Problems with Limited Resources

📄 arXiv: 2606.25832v1 📥 PDF

作者: Ke Zhao, Zixiang Di, Hong Qian, Xiang Shu, Yaolin Wen, Qitao Shi, Bingdong Li, Xingyu Lu, Xiangfeng Wang, Jun Zhou, Ke Tang, Yang Yu

分类: cs.LG, cs.AI

发布日期: 2026-06-24

备注: 20 pages, 9 figures, 11 tables, project: https://github.com/Hsiang-1/MiniOpt

🔗 代码/项目: GITHUB

💡 一句话要点

提出MiniOpt以解决有限资源下的优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化问题 强化学习 语言模型 推理建模 求解器生成

📋 核心要点

  1. 现有优化方法依赖于大规模数据集和昂贵的注释，导致训练成本高且泛化能力不足。
  2. MiniOpt通过强化学习框架，采用“推理-建模-求解”范式，优化了求解过程。
  3. MiniOpt系列在小于10B参数的模型中实现了最高的求解准确率，且在大模型中仍具竞争力。

📝 摘要（中文）

在优化导向的大型语言模型中，实现跨多种优化问题的强泛化能力，同时要求有限的训练资源，仍然是一个挑战性问题。现有方法通常依赖于大规模的监督数据集、昂贵的推理注释和中间步骤验证，导致训练开销巨大。为了解决这些挑战，本文提出了MiniOpt，一个通过“推理-建模-求解”范式学习解决优化问题的强化学习框架。MiniOpt将优化推理分解为结构化的优化建模和可执行的求解器生成。我们引入了OptReward，一种具有层次评分结构的奖励函数，能够联合评估公式和解，从而实现有效的策略学习。实验表明，MiniOpt-3B在多种优化类型、问题场景和任务领域中展现出强大的优化泛化能力。

🔬 方法详解

问题定义：本文旨在解决在有限资源下优化导向的大型语言模型的泛化能力不足的问题。现有方法通常需要大量的训练数据和验证步骤，导致训练成本高昂。

核心思路：MiniOpt通过“推理-建模-求解”范式，将优化问题的解决过程分解为结构化建模和求解器生成，从而提高了学习效率和泛化能力。

技术框架：MiniOpt的整体架构包括优化推理的分解、OptReward奖励函数的设计，以及优化导向的策略优化策略。主要模块包括推理模块、建模模块和求解模块。

关键创新：引入了OptReward奖励函数，该函数具有层次评分结构，能够同时评估优化公式和解的质量，显著提升了策略学习的效果。

关键设计：在模型设计中，采用了紧凑的网络结构和优化策略，确保在小模型中也能实现高效的探索和稳定的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MiniOpt-3B在多种优化类型中表现出色，尤其是在小于10B参数的模型中实现了最高的求解准确率，较基线方法提升显著。这表明优化导向的奖励设计和强化学习策略有效促进了模型的学习能力。

🎯 应用场景

MiniOpt的研究成果在多个领域具有广泛的应用潜力，包括工业优化、资源调度、金融投资组合优化等。其高效的求解能力和强泛化能力将推动优化问题的自动化解决，提升决策效率。

📄 摘要（原文）

Achieving strong optimization generalization across diverse optimization problems while requiring limited training resources remains a challenging problem for optimization-oriented large language models (LLMs). Existing approaches typically rely on large-scale supervised datasets, costly reasoning annotations, and expensive intermediate step verification, resulting in substantial training overhead. To address these challenges, we propose MiniOpt, a reinforcement learning framework that learns to solve optimization problems through an "reasoning-to-model-and-solve" paradigm. MiniOpt decomposes optimization reasoning into structured optimization modeling and executable solver generation. Building upon this paradigm, we introduce OptReward, a reward function with hierarchical score structure that jointly evaluates formulation and solution, enabling effective policy learning without expert demonstrations. We further develop an optimization-oriented policy optimization strategy that improves exploration efficiency and stabilizes reinforcement learning for compact models. Extensive experiments show that MiniOpt-3B exhibits strong optimization generalization across various optimization types, problem scenarios, and task domains. For models with fewer than 10B parameters, MiniOpt series achieves the highest average solving accuracy (SA). For models with more than 10B parameters, MiniOpt still shows competitive performance. These results suggest that optimization-oriented reward design and reinforcement learning provide an effective pathway for developing compact optimization-specialized language models with strong optimization generalization capabilities. The code is available at https://github.com/Hsiang-1/MiniOpt.