Triple-Bottom-Line Sustainability of Language Models for Edge AI: A Comparison Between SLMs and Quantized LLMs

📄 arXiv: 2609.00665v1 📥 PDF

作者: Jainil Dharmil Shah

分类: cs.AI

发布日期: 2026-09-01

💡 一句话要点

提出全面可持续性评分以比较边缘AI中的SLMs与量化LLMs

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘AI 语言模型 可持续性 量化技术 模型评估 系统效率 安全性

📋 核心要点

  1. 现有的边缘AI模型选择往往只关注单一性能指标，导致无法全面评估模型的可持续性。
  2. 本文提出了全面可持续性评分（HSS），综合考虑经济、环境和社会三大因素，以评估SLMs与量化LLMs的可持续性。
  3. 实验结果显示，优化的量化LLMs在综合评分上优于SLMs，表明量化不仅是精度与效率的简单权衡。

📝 摘要（中文）

边缘AI模型选择通常仅依赖单一指标，如准确率、延迟、内存、能耗或安全性，而可部署的语言模型必须在这五个方面取得平衡。本文探讨了本地训练的小型语言模型（SLMs）与通过后训练量化压缩的大型语言模型（LLMs）在可持续边缘部署中的权衡。我们引入了一个可重复的全面可持续性评分（HSS），围绕经济、环境和社会三大支柱进行组织。通过对五种BF16 SLMs和五种不同量化方法的LLMs进行评估，结果表明优化的量化LLMs在整体上表现优于SLMs，而SLMs在资源需求较低的情况下仍具竞争力。

🔬 方法详解

问题定义：本文旨在解决边缘AI模型选择中缺乏全面评估的问题，现有方法往往只关注单一性能指标，无法平衡准确性、延迟、内存、能耗和安全性等多个方面。

核心思路：提出全面可持续性评分（HSS），通过经济、环境和社会三大支柱来评估模型的综合性能，帮助选择更具可持续性的边缘AI模型。

技术框架：研究中评估了五种BF16 SLMs和五种不同量化方法的LLMs，涵盖了30种配置。评估指标包括零-shot基准测试的能力、延迟、吞吐量、峰值VRAM和能耗等。

关键创新：HSS的引入是本文的核心创新，它提供了一种系统化的方式来比较不同模型的可持续性，超越了传统的单一指标评估方法。

关键设计：在实验中，使用了多种量化方法（如BF16、INT8、NF4 4-bit等），并通过攻击成功率评估模型在面对有害提示时的安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Qwen3-30B-A3B/GGUF Q4在综合评分中排名第一（93.38），其次是Mistral-Small-24B/GGUF Q4（92.40），而Phi-4-mini/BF16则是SLMs中排名最高的（89.49），表明优化的量化LLMs在整体性能上具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、智能设备和移动应用等，能够帮助开发者在选择语言模型时做出更全面的决策，从而提高模型的可持续性和实用性。未来，随着AI技术的不断发展，全面可持续性评分可能成为模型评估的标准方法。

📄 摘要（原文）

Edge-AI model selection is commonly driven by one isolated metric - accuracy, latency, memory, energy, or safety, even though a deployable language model must balance all five. Our work focuses on answering the question whether na- tively trained small language models (SLMs) or large language models (LLMs) compressed through post-training quantization offer the more sustainable edge- deployment trade-off. We introduce a reproducible Holistic Sustainability Score (HSS) organized around the triple bottom line: an economic pillar for capability and systems efficiency, an environmental pillar for operational GPU energy and a social pillar for harmful-prompt robustness. Five BF16 SLMs and five LLMs under different quantization approaches - BF16, INT8, NF4 4-bit, GPTQ 4-bit, and GGUF Q4 produce 30 measured configurations. Capability is assessed on five zero-shot benchmarks; efficiency uses latency, throughput, peak VRAM and energy; and safety is approximated by attack success rate on five harmful prompts. Qwen3-30B-A3B/GGUF Q4 ranks first in the combined pool (93.38), followed by Mistral-Small-24B/GGUF Q4 (92.40), while Phi-4-mini/BF16 is the highest- ranked SLM in that pool (89.49). Thus, the hypothesis that native SLMs must be the most sustainable edge choice is not supported universally; optimized quantized LLMs can win overall, while SLMs remain competitive through lower resource demand. Quantization is a systems-level choice rather than a monotonic precision- efficiency trade-off and HSS remains relative to its comparison pool and proxy definitions.