CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression
作者: Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-23
🔗 代码/项目: GITHUB
💡 一句话要点
提出Cavewoman协议以评估语言模型在输入输出压缩下的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 输入输出压缩 Cavewoman协议 任务准确性 成本评估 自然语言处理 模型评估
📋 核心要点
- 现有方法在压缩输入时往往导致成本上升和准确性下降，未能有效提升推理效率。
- 论文提出Cavewoman协议，通过双通道评估生成内容的准确性和成本，分析输入输出压缩的影响。
- 实验结果显示，输出压缩在大多数模型中降低了成本，而输入压缩则导致成本上升和准确性下降。
📝 摘要（中文）
本研究探讨了在语言模型中使用简化语言（如短语和非语法化表达）是否能有效降低推理成本。我们提出了Cavewoman协议，评估生成内容的任务准确性、每项成本和与无约束参考文本的一致性。通过对八个模型在五个数据集和五个压缩级别下的评估，发现输出压缩在大多数API模型中能显著降低成本，而输入压缩则导致成本上升，且模型的准确性下降。研究结果表明，生成的表面文本与无约束参考文本存在显著偏差，且这种偏差在多种评估方法下依然存在。
🔬 方法详解
问题定义：本研究旨在解决在语言模型中使用简化语言是否能有效降低推理成本的问题。现有方法在输入压缩时常常导致成本上升和准确性下降，未能实现预期效果。
核心思路：论文提出Cavewoman协议，通过双通道评估生成内容的任务准确性和每项成本，分析输入和输出压缩对模型表现的影响。这样的设计能够全面评估不同压缩策略的效果。
技术框架：整体架构包括输入和输出两个通道的评估，针对每个生成内容进行任务准确性、成本和参考文本一致性等多维度分析。主要模块包括模型选择、数据集构建和评估指标设定。
关键创新：最重要的技术创新点在于提出了双通道评估协议，能够同时考量输入和输出的压缩效果，揭示了输入压缩的负面影响。与现有方法相比，该协议提供了更全面的评估视角。
关键设计：在实验中设置了五个压缩级别，采用多种评估指标（如任务准确性和成本）来比较不同模型的表现，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，输出压缩在大多数API模型中实现了1.4-2.4倍的成本降低，最佳情况下可达3倍。而输入压缩则导致了成本上升，平均增加约1.15倍，最差数据集下甚至达到2.7倍，模型的准确性也显著下降。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化输入输出的压缩策略，可以在降低成本的同时提高模型的实际应用效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
"Talk short. Drop grammar. Save token." This caveman style is widely promoted as a way to cut inference cost, but whether it actually saves anything depends on which channel (the user's prompt or the model's response) is being compressed. We present Cavewoman, a two-channel evaluation protocol that scores every generation on task accuracy, realized per-item cost, and reference-text agreement against the model's unconstrained reference. We evaluate eight models on five datasets at five reduction levels, with both channels measured on the same items. Output compression cuts realized cost on most API models (1.4-2.4x per model, up to 3x in the best case) and on all four open-weight models under public-tier pricing. Input compression has the opposite effect, a strict lose-lose: it raises net cost rather than lowering it (~1.15x on the five-benchmark mean, up to 1.8x on the worst dataset and 2.7x under stronger compression), because models compensate with longer responses even as accuracy collapses. Under the same setting, surface text diverges from the unconstrained reference: on the non-reasoning models, roughly half of all generations are correct yet their surface text no longer entails the model's own unconstrained baseline generation. The divergence survives length-controlled re-scoring, multiple-comparisons correction, and replication under complementary semantic measures. Code and data are available at https://github.com/danielle34/cavewoman.