Dynamic Prompt Fusion for Multi-Task and Cross-Domain Adaptation in LLMs

📄 arXiv: 2509.18113v1 📥 PDF

作者: Xin Hu, Yue Kang, Guanzi Yao, Tianze Kang, Mengjie Wang, Heyao Liu

分类: cs.CL, cs.LG

发布日期: 2025-09-09

💡 一句话要点

提出动态Prompt融合框架，提升LLM在多任务和跨领域场景下的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多任务学习 跨领域适应 Prompt工程 动态Prompt融合

📋 核心要点

  1. 现有方法依赖固定Prompt模板，难以适应多任务和跨领域场景下的语义差异。
  2. 提出动态Prompt融合框架，通过Prompt池和任务感知调度策略，动态组合和对齐Prompt。
  3. 实验结果表明，该方法显著提高了模型在语言理解和知识推理任务上的性能。

📝 摘要（中文）

本研究旨在解决大型语言模型在多任务和跨领域环境中常见的泛化能力不足问题。与依赖固定Prompt模板的SPoT等现有方法不同，本研究提出了一种统一的多任务学习框架，该框架具有动态Prompt调度机制。通过引入Prompt池和任务感知调度策略，该方法能够动态地组合和对齐不同任务的Prompt，从而增强模型捕捉跨任务语义差异的能力。在Prompt融合过程中，模型利用任务嵌入和门控机制来精细地控制Prompt信号，确保Prompt内容与任务特定需求对齐，并构建跨任务的灵活共享路径。此外，所提出的优化目标侧重于联合多任务学习，并结合自动学习策略来调度权重，有效缓解任务干扰和负迁移。通过一系列敏感性实验，验证了该机制在保持模型稳定性和增强迁移能力方面的优势。实验结果表明，该Prompt调度方法显著提高了模型在各种语言理解和知识推理任务上的性能，充分证明了其在统一多任务建模和跨领域适应方面的适用性和有效性。

🔬 方法详解

问题定义：大型语言模型在多任务和跨领域场景下，由于任务差异性和领域知识的差异性，泛化能力受到限制。现有方法，如SPoT，依赖于固定的Prompt模板，无法有效地捕捉和利用不同任务之间的语义关联，导致模型性能下降。

核心思路：论文的核心思路是引入动态Prompt融合机制，通过构建一个Prompt池，并根据任务的特定需求动态地选择、组合和调整Prompt。这种方法旨在更好地捕捉任务间的语义差异，并促进知识的有效迁移，从而提高模型在多任务和跨领域环境下的泛化能力。

技术框架：整体框架包含以下几个主要模块：1) Prompt池：存储多个Prompt模板，每个Prompt模板可能针对不同的任务或领域。2) 任务嵌入模块：将每个任务映射到一个低维向量空间，用于表示任务的语义信息。3) Prompt调度模块：根据任务嵌入，从Prompt池中选择合适的Prompt，并动态地调整Prompt的权重。4) Prompt融合模块：将选择的Prompt进行融合，生成最终的Prompt，用于指导模型的学习。5) 多任务学习模块：利用融合后的Prompt，对多个任务进行联合训练。

关键创新：最重要的技术创新点在于动态Prompt调度机制。与传统的固定Prompt方法相比，该机制能够根据任务的特定需求动态地调整Prompt，从而更好地捕捉任务间的语义差异，并促进知识的有效迁移。此外，论文还提出了一个自动学习策略来调度任务权重，有效缓解任务干扰和负迁移。

关键设计：1) Prompt温度参数：用于控制Prompt选择的多样性，较高的温度值会增加选择不同Prompt的概率。2) 任务嵌入：使用预训练语言模型（如BERT）对任务描述进行编码，得到任务嵌入。3) 门控机制：用于控制不同Prompt的权重，根据任务嵌入动态地调整权重。4) 损失函数：采用多任务学习的损失函数，并结合自动学习策略来调度任务权重。

📊 实验亮点

实验结果表明，所提出的动态Prompt调度方法在多个语言理解和知识推理任务上取得了显著的性能提升。例如，在XXX数据集上，相比于基线模型SPoT，该方法取得了X%的性能提升。敏感性实验验证了Prompt温度参数和任务数量对模型性能的影响，证明了该方法的稳定性和可扩展性。

🎯 应用场景

该研究成果可应用于各种需要多任务和跨领域知识迁移的场景，例如：智能客服、机器翻译、文本摘要、知识图谱问答等。通过动态Prompt融合，可以提升模型在复杂场景下的适应性和性能，降低模型开发和维护成本，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

This study addresses the generalization limitations commonly observed in large language models under multi-task and cross-domain settings. Unlike prior methods such as SPoT, which depends on fixed prompt templates, our study introduces a unified multi-task learning framework with dynamic prompt scheduling mechanism. By introducing a prompt pool and a task-aware scheduling strategy, the method dynamically combines and aligns prompts for different tasks. This enhances the model's ability to capture semantic differences across tasks. During prompt fusion, the model uses task embeddings and a gating mechanism to finely control the prompt signals. This ensures alignment between prompt content and task-specific demands. At the same time, it builds flexible sharing pathways across tasks. In addition, the proposed optimization objective centers on joint multi-task learning. It incorporates an automatic learning strategy for scheduling weights, which effectively mitigates task interference and negative transfer. To evaluate the effectiveness of the method, a series of sensitivity experiments were conducted. These experiments examined the impact of prompt temperature parameters and task number variation. The results confirm the advantages of the proposed mechanism in maintaining model stability and enhancing transferability. Experimental findings show that the prompt scheduling method significantly improves performance on a range of language understanding and knowledge reasoning tasks. These results fully demonstrate its applicability and effectiveness in unified multi-task modeling and cross-domain adaptation.