Efficient Contextual LLM Cascades through Budget-Constrained Policy Learning

📄 arXiv: 2404.13082v2 📥 PDF

作者: Xuechen Zhang, Zijian Huang, Ege Onur Taga, Carlee Joe-Wong, Samet Oymak, Jiasi Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-17 (更新: 2024-11-19)

💡 一句话要点

提出TREACLE以解决预算约束下的语言模型选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 上下文感知 模型选择 成本优化

📋 核心要点

  1. 现有方法在选择合适的语言模型时面临准确性、成本和延迟之间的权衡，用户常常难以做出最佳选择。
  2. TREACLE通过强化学习策略，结合问题上下文和响应历史，智能选择模型和提示方案，以满足用户的预算和延迟要求。
  3. 在GSM8K、CSQA和LLC等标准推理数据集上的实验表明，TREACLE相比基线方法实现了高达85%的成本节约，同时保持了高准确性。

📝 摘要（中文）

近年来，自然语言处理领域的成功推动了多家提供商的大型语言模型（LLMs）的普及。每个LLM在推理准确性、成本和延迟方面存在差异，且其准确性还依赖于问题的具体措辞。用户通常在回答问题时面临预算和延迟的限制，且不清楚如何选择合适的LLM以满足准确性和长期预算要求。为了解决这一设计空间中的复杂问题，本文提出了TREACLE（节约推理的上下文感知LLM和提示选择），一种强化学习策略，能够在遵循用户的成本和延迟约束的同时，智能选择模型和提示方案。我们的评估结果显示，TREACLE在标准推理数据集上能够实现高达85%的成本节约，同时保持高准确性。

🔬 方法详解

问题定义：本文旨在解决在预算约束下如何选择合适的语言模型的问题。现有方法往往无法有效平衡准确性、成本和延迟，导致用户在选择时面临困扰。

核心思路：TREACLE的核心思路是利用强化学习策略，结合问题的上下文信息（如问题文本嵌入和响应历史），智能选择最合适的模型和提示方案，以满足用户的需求。

技术框架：TREACLE的整体架构包括数据预处理、上下文信息提取、模型选择和提示生成四个主要模块。首先，通过嵌入技术提取问题的上下文信息，然后基于这些信息进行模型和提示的选择。

关键创新：TREACLE的主要创新在于其上下文感知的模型选择机制，能够根据问题的类型和难度动态调整选择策略，与传统静态选择方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，TREACLE使用了特定的损失函数来平衡准确性与成本，同时采用了多种语言模型的组合，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TREACLE在多个标准推理数据集上实现了高达85%的成本节约，相比于基线方法，准确性保持在高水平。这一成果表明，TREACLE在预算约束下的模型选择上具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、客户服务自动化和教育领域的个性化学习等。通过优化模型选择，TREACLE能够为用户提供更高效的服务，降低成本，同时满足准确性需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent successes in natural language processing have led to the proliferation of large language models (LLMs) by multiple providers. Each LLM offering has different inference accuracy, monetary cost, and latency, and their accuracy further depends on the exact wording of the question (i.e., the specific prompt). At the same time, users often have a limit on monetary budget and latency to answer all their questions, and they do not know which LLMs to choose for each question to meet their accuracy and long term budget requirements. To navigate this rich design space, we propose TREACLE ($\underline{T}$hrifty $\underline{Rea}$soning via $\underline{C}$ontext-Aware $\underline{L}$LM and Prompt S$\underline{e}$lection), a reinforcement learning policy that jointly selects the model and prompting scheme while respecting the user's monetary cost and latency constraints. TREACLE uses the problem context, including question text embeddings (reflecting the type or difficulty of a query) and the response history (reflecting the consistency of previous responses) to make smart decisions. Our evaluations on standard reasoning datasets (GSM8K, CSQA, and LLC) with various LLMs and prompts show that TREACLE enables cost savings of up to 85% compared to baselines, while maintaining high accuracy. Importantly, it provides the user with the ability to gracefully trade off accuracy for cost.