GRIMIP: A General Framework for Instance-Specific Configuration of MIP Solvers Using LLMs

📄 arXiv: 2606.23299v1 📥 PDF

作者: Yidong Luo, Xuemin Chen, Chenguang Wang, Fangzhou Zhu, Tao Zhong, Tianshu Yu

分类: cs.LG

发布日期: 2026-06-22

💡 一句话要点

提出GRIMIP以解决MIP求解器超参数配置问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合整数规划 超参数配置 贝叶斯优化 大型语言模型 优化算法 运筹学 机器学习

📋 核心要点

  1. 现有方法在MIP求解器超参数配置中存在次优设置和冷启动问题，导致求解效率低下。
  2. GRIMIP通过结合LLMs的推理能力与BO的高效搜索，提供了一种新的超参数配置方法。
  3. 在七个基准测试中，GRIMIP在困难实例上实现了超过40%的性能提升，优于现有方法。

📝 摘要（中文）

配置混合整数规划（MIP）求解器的超参数是一个高维且依赖实例的优化问题，次优设置可能导致求解时间显著增加。默认配置通常不理想，而传统调优方法要么面临“冷启动”问题和低效搜索，要么过于依赖专家经验。本文提出了GRIMIP（通用实例特定MIP配置的推理框架），这是一个新颖的混合智能框架，结合了大型语言模型（LLMs）的语义推理能力与贝叶斯优化（BO）的样本高效搜索。GRIMIP使LLM在BO循环中作为完整的概率代理，显著提升性能并降低采样和评估成本。在包括MIPLIB在内的七个基准测试中，GRIMIP在困难实例上实现了超过40%的原始-对偶积分减少，超越了SMAC和其他LLM辅助的BO方法。通过赋予LLM足够的自主性，GRIMIP将LLM的专家级推理与BO的高效搜索结合，实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决混合整数规划（MIP）求解器超参数配置的高维优化问题。现有方法往往依赖于默认配置，导致求解效率低下，且传统调优方法面临冷启动问题和效率低下的挑战。

核心思路：GRIMIP的核心思路是将大型语言模型（LLMs）与贝叶斯优化（BO）相结合，使LLM在BO循环中作为概率代理，从而提高超参数配置的效率和准确性。

技术框架：GRIMIP的整体架构包括两个主要模块：LLM模块负责语义推理和知识获取，BO模块则进行高效的超参数搜索。两者协同工作，通过反馈机制不断优化配置。

关键创新：GRIMIP的主要创新在于将LLMs的推理能力与BO的样本高效搜索相结合，形成了一种新的混合智能框架。这种设计使得LLM能够在超参数配置中发挥更大的作用，显著提升了求解性能。

关键设计：在关键设计方面，GRIMIP对LLM的自主性进行了优化，使其能够独立进行推理和决策。同时，BO的搜索策略经过调整，以适应LLM生成的反馈，从而提高了整体的搜索效率。具体的参数设置和损失函数设计也经过精心调整，以确保模型的稳定性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GRIMIP在七个基准测试上表现出色，特别是在困难实例上实现了超过40%的原始-对偶积分减少，显著优于SMAC及其他LLM辅助的BO方法，展示了其在超参数配置中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括优化算法、运筹学和工业工程等。通过提高MIP求解器的超参数配置效率，GRIMIP能够在实际问题中显著缩短求解时间，提升决策效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Configuring the hyperparameters of Mixed-integer programming (MIP) solvers is a high-dimensional, instance-dependent optimization problem where suboptimal settings can degrade solving time by orders of magnitude. Default configurations are often suboptimal, while traditional tuning methods either suffer from the ``cold-start'' problem and inefficient search or heavily rely on expert experience. This paper introduces \textbf{GRIMIP} (\textbf{\underline{G}}eneral \textbf{\underline{R}}easoning for \textbf{\underline{I}}nstance-specific \textbf{\underline{MIP}} configuration), a novel hybrid intelligence framework that synergistically integrates the semantic reasoning capabilities of Large Language Models (LLMs) with the sample-efficient search of Bayesian Optimization (BO). GRIMIP enables the LLM to function as a complete probabilistic surrogate within the BO loop, significantly improving performance and reducing sampling and evaluation costs. On seven benchmarks including MIPLIB, GRIMIP achieves over 40\% reduction in Primal-Dual Integral on hard instances, outperforming SMAC and other LLM-assisted BO methods. By granting LLMs sufficient autonomy, GRIMIP combines the expert-level reasoning of LLMs with the efficient search of BO, achieving state-of-the-art performance.