Large Language Models Do Not Always Need Readable Language

📄 arXiv: 2606.19857v1 📥 PDF

作者: Jiayi Zhu, Haoxuan Peng, Junxi Wang, Liang Ke, Chen Zhang, Linfeng Zhang

分类: cs.CL, cs.AI

发布日期: 2026-06-18

备注: 23 pages, 10 figures. Preprint

💡 一句话要点

提出BabelTele以实现模型间的高效信息传递

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本表示 信息密度 语义保真度 跨模型通信

📋 核心要点

  1. 现有方法通常依赖人类可读的自然语言进行模型间的交互，限制了信息传递的效率和密度。
  2. 论文提出BabelTele作为一种非标准文本表示，旨在提高信息密度并保持语义的可恢复性，适用于LLMs。
  3. 实验结果表明，BabelTele在保持99.5%语义保真度的同时，文本体积可缩减至原长度的27.9%，并在多种任务中表现出色。

📝 摘要（中文）

大型语言模型（LLMs）通常通过人类可读的自然语言进行提示和交互，然而本研究探讨了是否可以使用紧凑且非标准的文本形式来编码语义信息，即使这些形式牺牲了人类可读性。我们提出了BabelTele这一模型中心的文本表示方法，作为对LLMs生成和解释此类表示能力的实证探测。通过可读性诊断、模型似然度测量、人类问卷和下游任务评估，我们发现BabelTele可以在保持核心语义的同时显著偏离普通自然语言。作为一种任务无关的表示范式，BabelTele展现出高信息密度，即使文本体积缩减至原长度的27.9%，仍保持99.5%的语义保真度。进一步评估表明，BabelTele能够减少上下文开销，同时在一般情况下保持可靠的下游性能。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在信息传递中对人类可读性依赖的问题，现有方法在信息密度和语义保真度上存在不足。

核心思路：提出BabelTele作为一种紧凑的文本表示形式，旨在通过牺牲人类可读性来提高信息的传递效率，同时确保LLMs能够恢复核心语义。

技术框架：BabelTele的整体架构包括文本编码、语义恢复和模型评估三个主要模块。文本编码负责生成非标准文本，语义恢复则确保信息的可恢复性，模型评估通过多种指标验证性能。

关键创新：BabelTele的最大创新在于其高信息密度和语义保真度的结合，能够在显著压缩文本的同时保持语义完整性，这与传统的自然语言处理方法有本质区别。

关键设计：在设计中，BabelTele采用特定的压缩算法和语义映射策略，确保在压缩过程中尽量减少信息损失，同时通过多层神经网络结构增强语义恢复能力。具体的参数设置和损失函数设计也经过精心调整，以优化模型性能。

📊 实验亮点

实验结果显示，BabelTele在文本压缩方面表现优异，能够将文本体积缩减至原长度的27.9%，同时保持99.5%的语义保真度。此外，在多种下游任务中，BabelTele的性能普遍优于传统方法，显示出其在信息传递效率上的显著提升。

🎯 应用场景

BabelTele的研究成果在多种领域具有潜在应用价值，包括自然语言处理、跨模型通信和多智能体系统等。通过提高信息传递的效率，该方法可以在智能体之间实现更快速的协作与决策，推动智能系统的发展。未来，BabelTele可能成为模型原生表示的基础，促进更高效的LLM系统设计。

📄 摘要（原文）

Large language models (LLMs) are commonly prompted and interfaced with human-readable natural language, even when the intended reader is another model. This paper investigates whether semantic information can be encoded in compact, non-standard textual forms that sacrifice human readability while remaining recoverable by LLMs. We refer to this class of model-centric textual representations as BabelTele, approached here not as a fixed protocol but as an empirical probe into LLMs' capacity to generate and interpret such representations. Through readability diagnostics, model likelihood measures, human questionnaires, and downstream task evaluations, we find that BabelTele can substantially depart from ordinary natural language while preserving core semantics for instruction-tuned LLMs. As a task-agnostic representational paradigm, BabelTele demonstrates high information density, maintaining 99.5% semantic fidelity even when the text volume is condensed to 27.9% of its original length. We further evaluate its semantic robustness in cross-model transfer, agent memory, and multi-agent communication. Results suggest that BabelTele can reduce context overhead while generally maintaining reliable downstream performance, although its effectiveness depends on the compressor-reader pair and task setting. These findings indicate that human readability, natural-language typicality, and model-side semantic recoverability can be partially decoupled, opening a path toward model-native representations in future exploration of LLM systems.