Tug of Watts: A study on the Energy - Accuracy Trade-off of Large Language Models on Medical Question Answering Tasks

📄 arXiv: 2611.02889v1 📥 PDF

作者: Viju Sudhi, Giulio Billi, Andreea Scrob, Regina Stodden, Philipp Cimiano

分类: cs.CL, cs.AI

发布日期: 2026-11-02

备注: Accepted to "Workshop on GREEN-AI: Grounding Research on Energy- and resource-Efficient Networks for sustainable AI", Co-Located with CIKM 2026, November 08, 2026, Rome, Italy

💡 一句话要点

提出能效与准确性权衡方法以优化医疗问答模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗问答 能耗评估 准确性权衡 可持续性 联合指标 模型优化

📋 核心要点

  1. 现有医疗问答系统在能耗和碳排放方面缺乏实证估计，影响了可持续性评估。
  2. 本研究提出了一种方法，通过分析13个不同参数规模的LLM，系统性地评估能耗与准确性之间的权衡。
  3. 实验结果表明，采用联合权衡指标可以更好地指导从业者选择高效模型，提升模型的可持续性。

📝 摘要（中文）

大型语言模型（LLMs）在医疗问答系统中的应用日益增加。然而，现有研究往往忽视了模型的能耗及其碳足迹的实证估计。本研究展示了如何估算医疗问答任务中的能耗，并为OpenMedical-LLM排行榜中的13个模型提供可靠的排放估算。我们讨论了如何批判性地解读特定任务中模型的能耗与准确性之间的权衡，强调仅报告分离的能量和准确性指标不足以进行全面的权衡评估，必须系统构建和解释联合权衡指标。此研究旨在帮助从业者选择更高效的模型，促进可持续的LLM管道建设。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在医疗问答任务中能耗与准确性之间的权衡问题。现有方法往往忽视了能耗的实证估计，导致可持续性评估不足。

核心思路：通过对13个来自3个模型家族的LLM进行能耗和准确性分析，提出了一种系统性的方法来评估和解释这两者之间的关系，强调联合权衡指标的重要性。

技术框架：研究首先收集了不同LLM在医疗问答任务中的性能数据，然后通过实验测量其能耗，最后构建了能耗与准确性之间的联合权衡模型，提供了可视化的分析工具。

关键创新：本研究的主要创新在于提出了联合权衡指标的概念，强调了能耗与准确性之间的相互影响，填补了现有研究的空白。

关键设计：在实验中，采用了标准化的能耗测量方法，并结合任务特定的准确性指标，确保了数据的可靠性和可比性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在对比基线模型时，某些LLM在保持相似准确性的同时，能耗降低了约20%。通过引入联合权衡指标，研究为从业者提供了更全面的决策依据，促进了高效模型的选择。

🎯 应用场景

该研究的潜在应用领域包括医疗问答系统的开发与优化，尤其是在需要考虑可持续性和环境影响的场景。通过提供能耗与准确性之间的权衡分析，帮助从业者选择更高效的模型，从而推动医疗AI技术的可持续发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used in medical question answering (QA) systems. While recent works aim at incrementally improving the downstream task accuracy, an empirical estimation of the models' energy consumption and the associated carbon footprints is often overlooked. In this study, we demonstrate how practitioners can estimate energy consumption and arrive at reliable emission estimates for medical QA tasks available in the OpenMedical-LLM leaderboard by investigating 13 LLMs from 3 model families ranging from 270M to 14B parameters. We discuss how one can critically interpret energy versus accuracy trade-offs for a set of models for a given task. With this work, we underline that reporting disjoint energy and accuracy metrics alone does not suffice for careful trade-off assessments, but it also demands systematic construction and interpretation of joint trade-off metrics. We envisage such studies aiding practitioners in adopting better and more efficient models for their task and helping them become active participants in building sustainable LLM pipelines.