Reinforcement Learning Enhanced LLM Agents for Complex Vehicle Routing Problems

📄 arXiv: 2609.00859v1 📥 PDF

作者: Yi Chen, Zikang Yu, Jiahai Wang, Jinbiao Chen, Jianpeng Zhou, Zizhen Zhang

分类: cs.AI

发布日期: 2026-09-01

💡 一句话要点

提出强化学习增强的LLM代理以解决复杂车辆路径问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车辆路径问题 强化学习 多代理系统 组合优化 自动化建模 神经网络 进化记忆 检索增强生成

📋 核心要点

  1. 现有的优化求解器在处理复杂车辆路径问题时，往往需要大量的领域知识，导致技术的可及性受到限制。
  2. 本文提出的RLEA框架通过强化学习和LLM结合，自动化复杂VRP的建模过程，降低了对领域专家的依赖。
  3. 实验结果显示，RLEA在48种VRP变体中成功率提高了16.67%，并显著减少了运行时错误，验证了其有效性。

📝 摘要（中文）

车辆路径问题（VRPs）是基本的组合优化问题，广泛应用于多个场景。尽管先进的优化求解器能够有效解决这些问题，但建模复杂的VRP变体通常需要大量领域专业知识，限制了先进优化技术的可及性。本文提出了强化学习增强的LLM代理（RLEA），这是一个旨在自动化复杂VRP建模的多代理框架。RLEA引入了一种轻量级神经规划器，通过软Q学习进行训练，以高效协调基于LLM的代理的行动。此外，我们为系统配备了进化记忆模块和检索增强生成，使代理能够在程序生成和优化过程中利用积累的经验和外部求解器知识。实验结果表明，RLEA在48种不同的VRP变体中表现优异，成功率提高了16.67%，同时显著减少了运行时错误。

🔬 方法详解

问题定义：本文旨在解决复杂车辆路径问题的建模难题，现有方法需要大量领域知识，限制了其应用范围。

核心思路：提出的RLEA框架结合强化学习和LLM，通过轻量级神经规划器自动化建模过程，降低对专家知识的依赖。

技术框架：RLEA框架包括多个主要模块：轻量级神经规划器、进化记忆模块和检索增强生成，协同工作以优化VRP的求解过程。

关键创新：RLEA的核心创新在于将强化学习与LLM推理相结合，实现了自动化优化建模的有效性，区别于传统方法的手动建模。

关键设计：在设计中，使用软Q学习训练神经规划器，进化记忆模块用于存储和利用历史经验，检索增强生成则引入外部求解器知识以提升建模质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RLEA在48种不同的VRP变体中成功率提高了16.67%，同时运行时错误显著减少。这些结果验证了将强化学习与LLM推理结合的有效性，为自动化优化建模提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括物流、运输和供应链管理等多个行业，能够显著提高车辆调度的效率和准确性。通过自动化建模，企业可以更快速地响应市场变化，降低运营成本，提升服务质量。未来，该技术有望扩展到更复杂的优化问题和其他领域。

📄 摘要（原文）

Vehicle Routing Problems (VRPs) are fundamental combinatorial optimization problems with widespread applications in various scenarios. The advanced optimization solvers can effectively solve such problems. However, modeling complex VRP variants for solvers often requires substantial domain expertise, which limits the accessibility of advanced optimization technologies. In this paper, we propose Reinforcement Learning Enhanced LLMAgents(RLEA), a multi-agent framework designed to automate the modeling of complex VRPs. RLEA introduces a lightweight neural Planner trained with Soft Q-learning to efficiently orchestrate the actions of LLM-based agents. In addition, we equip the system with an evolutionary memory module and retrieval-augmented generation, enabling the agent to leverage both accumulated experience and external solver knowledge during program generation and refinement for solving VRPs. We evaluated 48 distinct VRP variants across various solvers. The experimental results demonstrate that RLEA outperforms the previous state-of-the-ar method, achieving a 16.67% higher success rate while significantly reducing runtime errors. These results validate that integrating reinforcement learning with LLM-based reasoning is highly effective for automated optimization modeling. The appendix is available at: https://doi.org/10.5281/zenodo.19134435.