Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization

📄 arXiv: 2403.00067v4 📥 PDF

作者: Md Tahmid Rahman Laskar, Elena Khasanova, Xue-Yong Fu, Cheng Chen, Shashi Bhushan TN

分类: cs.CL

发布日期: 2024-02-29 (更新: 2024-10-20)

备注: Accepted at EMNLP 2024 (Industry Track)

💡 一句话要点

提出多查询指令优化大语言模型推理以解决会议摘要问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会议摘要 大型语言模型 多查询提示 推理优化 成本降低

📋 核心要点

  1. 现有方法在处理多个查询时，需为每个查询单独调用LLM，导致成本高昂且效率低下。
  2. 论文提出将多个查询合并为单个提示，从而减少对LLM推理端点的重复调用，以优化成本。
  3. 实验结果显示，某些闭源LLM在生成响应格式的可靠性上表现优异，而开放源代码的LLM则普遍落后，部分7B参数的LLM如Mistral和Phi-3表现较好。

📝 摘要（中文）

本研究聚焦于基于查询的会议摘要任务，即根据特定查询生成会议记录的摘要。使用大型语言模型（LLMs）时，通常会为每个新查询触发一次新的LLM推理调用，即使上下文保持不变。这种重复调用会显著增加生产环境中的使用成本，使得LLMs在许多实际应用中变得不切实际。为了解决这个问题，本文探讨了将相同输入上下文的多个查询合并为单个提示，以减少重复调用在会议摘要中的有效性。通过对多种流行LLMs（如GPT-4、Gemini、Claude-3等）在单查询和多查询设置下的性能进行比较，发现多查询提示能够显著优化会议摘要的推理成本。

🔬 方法详解

问题定义：本文解决的是在会议摘要中，如何有效利用大型语言模型（LLMs）生成针对特定查询的摘要，同时避免重复调用推理端点的问题。现有方法在处理多个查询时，需为每个查询单独调用LLM，导致成本高昂且效率低下。

核心思路：论文的核心解决思路是将多个查询合并为一个单一的提示，从而减少对LLM推理端点的重复调用。这种设计旨在提高推理效率并降低成本，同时保持摘要的质量。

技术框架：整体架构包括输入上下文的准备、查询的合并、LLM的调用以及结果的生成与格式化。主要模块包括查询处理模块、LLM推理模块和结果整合模块。

关键创新：最重要的技术创新点在于多查询提示的使用，这与现有方法的单查询调用形成鲜明对比。通过这种方式，能够显著减少推理调用次数，从而降低成本。

关键设计：在实验中，采用了多种流行的LLM进行对比，设置了不同的查询组合方式，并评估了生成响应的可靠性和格式一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用多查询提示的方式能够显著降低推理成本，并在某些闭源LLM中实现100%的格式可靠性。与单查询设置相比，多查询设置在效率上有明显提升，尤其是在处理多个相关查询时。

🎯 应用场景

该研究的潜在应用领域包括企业会议记录的自动化处理、在线教育平台的课程总结以及客户服务中的对话记录分析。通过优化LLM的推理过程，可以在实际应用中显著降低成本，提高效率，推动智能摘要技术的广泛应用。

📄 摘要（原文）

This work focuses on the task of query-based meeting summarization in which the summary of a context (meeting transcript) is generated in response to a specific query. When using Large Language Models (LLMs) for this task, usually a new call to the LLM inference endpoint/API is triggered for each new query, even if the context stays the same. However, repeated calls to the LLM inference endpoints would significantly increase the costs of using them in production, making LLMs impractical for many real-world use cases. To address this problem, in this paper, we investigate whether combining the queries for the same input context in a single prompt to minimize repeated calls can be successfully used in meeting summarization. In this regard, we conduct extensive experiments by comparing the performance of various popular LLMs: GPT-4, Gemini, Claude-3, LLaMA-2, Mistral, Phi-3, and Qwen-2 in single-query and multi-query settings. We observe that 100% reliability in generating the response in the expected format is usually limited to certain closed-source LLMs, with most open-source LLMs lagging behind (except a few 7B parameters LLMs like Mistral and Phi-3). We conclude that multi-query prompting could be useful to significantly optimize the inference costs in meeting summarization.