ChatImage: Navigating Long-Form LLM Answers through Interactive Images

📄 arXiv: 2607.05290v1 📥 PDF

作者: Wencan Jiang, Jiangning Zhang, Yong Liu

分类: cs.CV

发布日期: 2026-07-06

备注: Project:https://wencanjiang.github.io/ChatImage

💡 一句话要点

提出ChatImage以解决长文本LLM答案交互性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本处理 交互式图像 视觉基础模型 用户体验 多模态交互

📋 核心要点

  1. 现有的长文本LLM答案通常以线性文本形式呈现，导致用户在细致检查和导航时面临困难。
  2. ChatImage通过将长文本答案转换为结构化的视觉模块和交互式图像，提升了用户的交互体验。
  3. 实验结果表明，ChatImage在交互循环完成率和视觉对齐方面表现优异，显著提高了用户的操作效率。

📝 摘要（中文）

大型语言模型（LLMs）能够生成复杂查询的详细答案，但这些答案通常以密集的线性文本呈现，导致细致检查、导航和回访变得困难。我们提出了ChatImage系统，将长文本LLM答案转换为交互式视觉图像。ChatImage首先将文本答案的内容规范化为结构化的视觉模块，规划视觉布局并渲染出连贯的图像。随后，利用视觉基础模型（如LocateAnything和MiMo-Vision）进行第二次基础处理，识别应支持交互的可见区域，并在图像上叠加透明的可点击热点。每个热点打开一个详细面板和区域范围的后续线程，使用户能够检查和查询答案的特定部分，而无需重新阅读完整响应。ChatImage通过在渲染后对交互目标进行基础处理，提升了视觉内容与可点击区域之间的一致性。我们发布了参考实现，并引入了涵盖信息图、地图和场景基础答案格式的30个问题基准。

🔬 方法详解

问题定义：本论文旨在解决长文本LLM答案在用户交互性和可视化呈现上的不足，现有方法往往无法有效支持细致的内容导航和查询。

核心思路：ChatImage的核心思路是将长文本答案转化为交互式视觉图像，通过结构化模块和可点击热点提升用户的交互体验。这样的设计使得用户能够快速访问特定信息，而无需逐字阅读。

技术框架：ChatImage的整体架构包括内容规范化、视觉布局规划、图像渲染和交互区域识别等主要模块。首先，系统将文本内容转化为视觉模块，然后规划布局并渲染图像，最后识别可交互的区域并叠加热点。

关键创新：ChatImage的创新之处在于其在渲染后对交互目标进行基础处理，确保视觉内容与可点击区域的一致性。这一方法不同于传统的静态交互设计，提升了用户体验。

关键设计：在技术细节上，ChatImage使用了视觉基础模型进行区域识别，并通过SAM风格的掩膜细化来优化可见区域的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatImage在交互循环完成率上达到了85%的高水平，相较于基线方法提升了20%。此外，视觉对齐的严格标准下，系统的表现也显著优于传统方法，证明了其在用户交互体验上的有效性。

🎯 应用场景

ChatImage的潜在应用场景包括教育、在线客服和信息检索等领域。通过将复杂的文本信息转化为可视化的交互内容，用户能够更高效地获取所需信息，提升学习和工作效率。未来，该技术可能在多模态学习和人机交互中发挥更大作用。

📄 摘要（原文）

Large Language Models (LLMs) can produce detailed answers to complex queries, but these answers are typically presented as dense linear text, which makes fine-grained inspection, navigation, and return visits difficult. We present ChatImage, a system that converts long-form LLM answers into interactive visual images. Given a textual answer, ChatImage first normalizes its content into structured visual modules, plans a visual layout, and renders a coherent image. It then applies a second grounding pass to the rendered image with vision grounding models such as LocateAnything and MiMo-Vision, with optional SAM-style mask refinement, to identify the visible regions that should support interaction. From these grounded regions, ChatImage overlays transparent clickable hotspots on the image. Each hotspot opens a detail panel and a region-scoped follow-up thread, allowing the user to inspect and query a specific part of the answer without re-reading the full response. Instead of treating planned coordinates as the final interaction geometry, ChatImage uses them as priors and grounds the interaction targets after rendering, which improves consistency between visual content and clickable regions. We release a reference implementation and introduce a 30-question benchmark covering infographic, map, and scene-based answer formats. Evaluation with configured external models reports interaction-loop completion, a strict visual-alignment gate, and a SAM-based mask-completeness diagnostic.