Structured Maps for Landmark-Based Route Instructions with LLMs

📄 arXiv: 2610.36582v1 📥 PDF

作者: Mifu Matsumoto, Yuki Nakanishi, Tomoya Hashiguchi, Hiroaki Ohshima

分类: cs.CL

发布日期: 2026-10-27

备注: Accepted for publication at BESC 2026

💡 一句话要点

提出结构化文本表示以优化基于地标的路线指引

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地标选择 路线指引 结构化文本 大型语言模型 空间推理 SVG格式 导航系统

📋 核心要点

  1. 现有方法在生成基于地标的路线指引时，缺乏对地图几何和人类偏好的有效理解。
  2. 论文提出了一种利用SVG格式的结构化文本表示，旨在增强地标选择任务的空间特征编码能力。
  3. 实验表明，结构化文本输入在地标选择任务中表现优于传统的图像输入，且小型LLMs经过微调后能有效提升准确率。

📝 摘要（中文）

为了生成基于地标的路线指引，模型必须理解地图几何和人类对地标的偏好。尽管大型语言模型（LLMs）在语言任务中表现出色，但尚未确定如何为这些模型构建最佳的地图数据结构。本文提出了一种结构化文本表示，用于路线导航中的地标选择任务，利用SVG格式编码空间特征。该结构化文本与渲染的地图图像保持几何连接，使语言模型能够直接访问空间和语义数据。通过使用从人类编写的路线描述和OpenStreetMap数据创建的新数据集，我们在两个任务上评估模型：转弯处的地标选择和目的地周围的地标选择。实验结果表明，所提出的结构化文本输入的表现与基于图像的PNG输入相当或更好。此外，特定任务的微调使得较小的本地LLMs能够有效利用地图布局，实现高选择准确率。这些结果表明，结构化文本是人性化导航中空间推理的高效轻量接口。

🔬 方法详解

问题定义：本文旨在解决如何有效生成基于地标的路线指引的问题。现有方法在地图数据结构化方面存在不足，无法充分利用空间和语义信息。

核心思路：论文提出的核心思路是使用SVG格式构建结构化文本表示，以便更好地编码地标选择任务中的空间特征。这种设计使得语言模型能够直接访问与地图图像相关的几何信息。

技术框架：整体架构包括数据集构建、结构化文本生成和模型评估三个主要模块。首先，从人类编写的路线描述和OpenStreetMap数据中创建数据集；其次，利用SVG格式生成结构化文本；最后，评估不同LLMs在地标选择任务上的表现。

关键创新：最重要的技术创新在于提出了一种新的结构化文本表示方法，能够有效地将空间特征与语言模型结合，区别于传统的图像输入方式。

关键设计：在参数设置上，论文对结构化文本的编码方式进行了优化，确保其与地图图像的几何关系保持一致。同时，采用了特定任务的微调策略，以提升小型LLMs的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的结构化文本输入在地标选择任务中表现优于传统的PNG输入，具体而言，五种LLMs在转弯和目的地周围的地标选择任务中均取得了显著的准确率提升，验证了结构化文本的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能导航系统、自动驾驶汽车和人机交互界面等。通过提供高效的地标选择和路线指引，能够显著提升用户体验和导航精度，未来可能在城市规划和旅游导览等方面发挥重要作用。

📄 摘要（原文）

To generate landmark-based route instructions, models must understand both map geometry and human landmark preferences. Although large language models (LLMs) show great abilities in language tasks, the best way to structure map data for these models is not yet established. This paper proposes a structured text representation for landmark selection tasks in route navigation, utilizing SVG format to encode spatial features. The structured text maintains a geometric connection with rendered map images, allowing language models to directly access spatial and semantic data. Using a new dataset created from human-written route descriptions and OpenStreetMap data, we evaluate models on two tasks: landmark selection at turns and around destinations. Experiments with five LLMs show that the proposed structured text input performs as well as or better than image-based PNG inputs. In addition, task-specific fine-tuning enables smaller local LLMs to effectively leverage map layouts to achieve high selection accuracy. These results demonstrate that structured text is an efficient and lightweight interface for spatial reasoning in human-oriented navigation.