Words That Make Language Models Perceive

📄 arXiv: 2510.02425v1 📥 PDF

作者: Sophie L. Wang, Phillip Isola, Brian Cheung

分类: cs.CL, cs.CV, cs.LG

发布日期: 2025-10-02

💡 一句话要点

通过感官提示激活纯文本语言模型中的潜在多模态表征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多模态学习 感官提示 表征学习 文本视觉对齐

📋 核心要点

  1. 现有大型语言模型虽然仅通过文本训练，但其内部隐含着多模态信息。
  2. 论文提出通过感官提示（如“看”、“听”）来激活LLM中潜在的视觉和听觉表征。
  3. 实验表明，简单的提示工程可以有效地在纯文本LLM中激活相应的模态表征。

📝 摘要（中文）

大型语言模型（LLM）仅通过文本训练，表面上缺乏任何直接的感知经验，但其内部表征受到语言中编码的多模态规律的隐式影响。本文验证了显式感官提示可以揭示这种潜在结构的假设，使纯文本LLM在表征上更接近专业的视觉和音频编码器。当感官提示告诉模型“看”或“听”时，它会提示模型解析其下一个token预测，就好像它们是以从未实际提供的潜在视觉或听觉证据为条件的。研究结果表明，轻量级的提示工程可以可靠地激活纯文本训练的LLM中适合模态的表征。

🔬 方法详解

问题定义：现有的大型语言模型主要基于文本数据进行训练，缺乏直接的感知经验。虽然语言中蕴含着多模态信息，但如何有效地从纯文本LLM中提取和利用这些信息是一个挑战。现有的方法通常需要额外的多模态数据或复杂的训练策略，而本文旨在探索一种更简单有效的方法。

核心思路：论文的核心思路是通过感官提示来引导LLM激活其内部潜在的多模态表征。作者认为，LLM在训练过程中已经学习到了文本与视觉、听觉等感官信息之间的关联，而显式的感官提示可以作为一种“触发器”，促使模型将下一个token的预测与相应的感官信息联系起来。这种方法无需额外的训练数据或复杂的模型结构。

技术框架：该方法主要包括以下几个步骤：1) 选择一个预训练的纯文本LLM；2) 设计感官提示，例如“看”或“听”；3) 将感官提示添加到输入文本中，例如“一张图片，我看到的是…”或“一段声音，我听到的是…”；4) 使用LLM生成下一个token；5) 分析LLM生成的token的表征，并将其与视觉或听觉编码器的表征进行比较，以评估感官提示是否成功激活了相应的模态表征。

关键创新：该论文的关键创新在于提出了一种轻量级的提示工程方法，可以有效地激活纯文本LLM中的潜在多模态表征。与需要额外训练数据或复杂模型结构的方法相比，该方法更加简单、高效，并且具有更好的可解释性。此外，该研究也揭示了纯文本LLM中蕴含着丰富的多模态信息，为未来的多模态LLM研究提供了新的思路。

关键设计：论文中关键的设计包括感官提示的选择和表征的比较方法。感官提示需要足够明确，能够引导LLM激活相应的模态表征。表征的比较方法需要能够有效地衡量LLM生成的token的表征与视觉或听觉编码器的表征之间的相似度。具体的参数设置和网络结构取决于所使用的LLM和视觉/听觉编码器，论文中可能使用了余弦相似度等方法来比较表征。

📊 实验亮点

实验结果表明，通过简单的感官提示，可以显著提高纯文本LLM在视觉和听觉相关任务上的表现。例如，在生成图像描述时，使用“看”的提示可以使LLM生成更准确、更丰富的描述。此外，该方法还可以用于识别音频中的事件，例如通过“听”的提示来识别鸟鸣或汽车鸣笛。

🎯 应用场景

该研究成果可应用于多模态信息检索、图像/音频描述生成、以及提升语言模型的常识推理能力等领域。通过激活LLM中的潜在多模态表征，可以使其更好地理解和处理与视觉、听觉等感官信息相关的任务。未来，该方法有望应用于机器人控制、人机交互等更广泛的领域。

📄 摘要（原文）

Large language models (LLMs) trained purely on text ostensibly lack any direct perceptual experience, yet their internal representations are implicitly shaped by multimodal regularities encoded in language. We test the hypothesis that explicit sensory prompting can surface this latent structure, bringing a text-only LLM into closer representational alignment with specialist vision and audio encoders. When a sensory prompt tells the model to 'see' or 'hear', it cues the model to resolve its next-token predictions as if they were conditioned on latent visual or auditory evidence that is never actually supplied. Our findings reveal that lightweight prompt engineering can reliably activate modality-appropriate representations in purely text-trained LLMs.