Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients

📄 arXiv: 2601.04055v1 📥 PDF

作者: Prith Sharma, Austin Z. Henley

分类: cs.CL

发布日期: 2026-01-07

💡 一句话要点

模块化Prompt优化（MPO）：利用分段局部文本梯度优化结构化Prompt

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Prompt优化 模块化Prompt 文本梯度 大型语言模型 推理能力 结构化Prompt 局部优化 开源模型

📋 核心要点

  1. 现有prompt优化方法将prompt视为整体，难以定位错误、保留关键信息，并可能导致prompt过度增长。
  2. MPO将prompt分解为结构化的语义模块，利用分段局部文本梯度独立优化各模块，保持整体结构不变。
  3. 实验表明，MPO在ARC-Challenge和MMLU基准测试中，显著优于现有方法，提升了LLaMA-3 8B-Instruct和Mistral-7B-Instruct的推理准确性。

📝 摘要（中文）

Prompt质量在控制大型语言模型（LLM）的行为、可靠性和推理性能方面起着核心作用，特别是对于较小的开源指令微调模型，它们严重依赖于显式结构。虽然最近的工作已经探索了使用文本梯度和自我完善的自动prompt优化，但大多数现有方法将prompt视为单块文本，使得难以定位错误、保留关键指令或防止不受控制的prompt增长。我们引入了模块化Prompt优化（MPO），这是一个基于模式的prompt优化框架，它将prompt视为由固定语义部分（包括系统角色、上下文、任务描述、约束和输出格式）组成的结构化对象。MPO应用由评论语言模型生成的分段局部文本梯度，以独立地细化每个部分，同时保持整体prompt模式不变。通过去重来整合分段更新，以减少组件之间的冗余和干扰，从而产生可解释且稳健的优化过程。我们使用LLaMA-3 8B-Instruct和Mistral-7B-Instruct作为求解器模型，在两个推理基准ARC-Challenge和MMLU上评估MPO。在两个基准和模型上，MPO始终优于未调整的结构化prompt和TextGrad基线，在不修改模型参数或改变prompt结构的情况下实现了显着的准确性提升。这些结果表明，在应用局部、分段优化时保持固定的prompt模式是提高小型开源LM推理性能的有效且实用的方法。

🔬 方法详解

问题定义：现有prompt优化方法通常将prompt视为一个整体，缺乏对prompt内部结构的考虑。这导致优化过程难以控制，容易出现错误定位困难、关键信息丢失以及prompt长度不受控制增长等问题。特别是对于依赖显式结构的较小规模开源语言模型，这种问题尤为突出。

核心思路：MPO的核心思路是将prompt分解为多个具有明确语义的模块，例如系统角色、上下文、任务描述、约束和输出格式等。通过对每个模块进行独立优化，可以更精确地控制优化过程，避免全局优化带来的副作用。同时，保持整体prompt结构的固定，有助于维持prompt的稳定性和可解释性。

技术框架：MPO框架包含以下主要步骤：1. Prompt结构化：将prompt划分为预定义的语义模块。2. 分段梯度生成：使用评论语言模型（critic LM）为每个模块生成局部文本梯度，指示该模块的优化方向。3. 分段优化：根据局部文本梯度，独立优化每个模块。4. 去重整合：对优化后的模块进行去重处理，减少冗余和干扰，并将它们整合回完整的prompt。

关键创新：MPO的关键创新在于引入了“模块化”和“局部梯度”的概念。通过将prompt分解为模块，可以实现更精细的控制和优化。而局部梯度则能够更准确地反映每个模块的优化需求，避免全局梯度带来的偏差。此外，MPO在优化过程中保持prompt结构的固定，保证了prompt的稳定性和可解释性。

关键设计：MPO的关键设计包括：1. Prompt模式定义：预先定义prompt的结构，包括模块的类型和顺序。2. 评论语言模型选择：选择合适的评论语言模型，用于生成高质量的局部文本梯度。3. 去重算法：采用有效的去重算法，减少模块之间的冗余和干扰。4. 优化算法：选择合适的优化算法，根据局部文本梯度更新每个模块。

📊 实验亮点

实验结果表明，MPO在ARC-Challenge和MMLU两个推理基准测试中，显著优于未调整的结构化prompt和TextGrad基线。例如，在使用LLaMA-3 8B-Instruct作为求解器模型时，MPO在ARC-Challenge上的准确率提升了X%，在MMLU上的准确率提升了Y%（具体数据未知）。这些结果证明了MPO在提高小型开源语言模型推理性能方面的有效性。

🎯 应用场景

MPO可应用于各种需要prompt工程的自然语言处理任务，尤其适用于资源受限的场景，例如在边缘设备上部署小型语言模型。通过优化prompt，可以提高模型的性能和可靠性，降低对模型规模的依赖，从而降低部署成本和能耗。此外，MPO的模块化设计也使得prompt更易于维护和修改，提高了prompt工程的效率。

📄 摘要（原文）

Prompt quality plays a central role in controlling the behavior, reliability, and reasoning performance of large language models (LLMs), particularly for smaller open-source instruction-tuned models that depend heavily on explicit structure. While recent work has explored automatic prompt optimization using textual gradients and self-refinement, most existing methods treat prompts as monolithic blocks of text, making it difficult to localize errors, preserve critical instructions, or prevent uncontrolled prompt growth. We introduce Modular Prompt Optimization (MPO), a schema-based prompt optimization framework that treats prompts as structured objects composed of fixed semantic sections, including system role, context, task description, constraints, and output format. MPO applies section-local textual gradients, generated by a critic language model, to refine each section independently while keeping the overall prompt schema fixed. Section updates are consolidated through de-duplication to reduce redundancy and interference between components, yielding an interpretable and robust optimization process. We evaluate MPO on two reasoning benchmarks, ARC-Challenge and MMLU, using LLaMA-3 8B-Instruct and Mistral-7B-Instruct as solver models. Across both benchmarks and models, MPO consistently outperforms an untuned structured prompt and the TextGrad baseline, achieving substantial accuracy gains without modifying model parameters or altering prompt structure. These results demonstrate that maintaining a fixed prompt schema while applying localized, section-wise optimization is an effective and practical approach for improving reasoning performance in small open-source LMs.