Conversational Orientation Reasoning: Egocentric-to-Allocentric Navigation with Multimodal Chain-of-Thought

📄 arXiv: 2509.18200v1 📥 PDF

作者: Yu Ti Huang

分类: cs.LG, cs.AI, cs.CL, cs.RO

发布日期: 2025-09-20

💡 一句话要点

提出多模态链式思考框架，解决复杂环境下语音对话的朝向推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 朝向推理 多模态学习 链式思考 具身导航 语音识别 空间关系 课程学习

📋 核心要点

  1. 现有对话Agent难以将自我中心的指令转化为环境中心的朝向，尤其是在GPS信号弱且缺乏详细地图的复杂环境中。
  2. 论文提出多模态链式思考(MCoT)框架，通过提取空间关系、映射坐标方向和推断用户朝向的三步推理过程，解决朝向推理问题。
  3. 实验表明，MCoT在真实场景的语音转录中实现了高精度的朝向推理，且对噪声、语言变异和领域转移具有鲁棒性。

📝 摘要（中文）

本文提出了一种新的基准测试——对话朝向推理(COR)，用于评估在真实环境中，从传统中文对话导航中进行自我中心到以环境为中心的朝向推理能力，尤其是在非英语和ASR转录场景下。同时，提出了一种多模态链式思考(MCoT)框架，该框架通过结构化的三步推理过程，整合了ASR转录的语音和地标坐标：(1)提取空间关系，(2)将坐标映射到绝对方向，(3)推断用户朝向。通过课程学习策略，在Taiwan-LLM-13B-v2.0-Chat上逐步构建这些能力。实验表明，MCoT在干净的文本转录中实现了100%的朝向准确率，在ASR转录中达到了98.1%，显著优于单模态和非结构化基线。此外，MCoT在嘈杂的对话条件下，包括ASR识别错误和多语言代码切换，也表现出鲁棒性。该模型在跨领域评估中保持了高精度，并对语言变异、领域转移和指代歧义具有弹性。这些发现突出了结构化MCoT空间推理作为一种可解释和资源高效的具身导航路径的潜力。

🔬 方法详解

问题定义：论文旨在解决在室内或复杂环境中，由于GPS信号弱且缺乏详细地图，对话Agent难以将用户以自我为中心的语音指令（例如“我的右边”）转换为以环境为中心的绝对方向（例如北/东/南/西）的问题。现有方法在处理ASR转录错误、多语言环境以及领域迁移时表现不佳，缺乏鲁棒性和泛化能力。

核心思路：论文的核心思路是利用多模态信息（语音和地标坐标）以及链式思考(Chain-of-Thought, CoT)的推理方式，将复杂的朝向推理任务分解为多个可解释的步骤。通过逐步推理，模型可以更好地理解用户意图，并准确地推断出用户的朝向。这种方法借鉴了人类解决空间推理问题的方式，即先理解相对位置关系，再将其映射到绝对方向。

技术框架：MCoT框架包含三个主要阶段：(1) 空间关系提取：从ASR转录的语音中提取用户与地标之间的空间关系（例如“在我的左边”）。(2) 坐标到方向映射：利用地标的坐标信息，将相对空间关系映射到绝对方向（例如“左边是北方”）。(3) 用户朝向推断：综合所有地标的方位信息，推断出用户的当前朝向。整个框架使用Taiwan-LLM-13B-v2.0-Chat作为基础模型，并通过课程学习策略逐步训练模型的推理能力。

关键创新：论文的关键创新在于将多模态信息和链式思考方法结合起来，用于解决朝向推理问题。与传统的单模态方法相比，MCoT能够利用地标的坐标信息来提高推理的准确性。与非结构化的推理方法相比，MCoT的链式思考过程使得推理过程更加可解释，并且能够更好地处理复杂的空间关系。此外，该框架还针对非英语和ASR转录场景进行了优化，使其更适用于实际应用。

关键设计：论文采用课程学习策略，逐步训练模型的推理能力。首先，模型学习从干净的文本转录中提取空间关系。然后，模型学习将坐标映射到绝对方向。最后，模型学习综合所有信息，推断用户的朝向。损失函数方面，论文可能采用了交叉熵损失函数来优化模型的分类性能。在网络结构方面，Taiwan-LLM-13B-v2.0-Chat作为基础模型，可能使用了Transformer架构。

📊 实验亮点

MCoT在干净的文本转录中实现了100%的朝向准确率，在ASR转录中达到了98.1%，显著优于单模态和非结构化基线。即使在存在ASR识别错误和多语言代码切换等噪声条件下，MCoT仍然表现出很强的鲁棒性。此外，MCoT在跨领域评估中保持了高精度，并对语言变异、领域转移和指代歧义具有弹性。

🎯 应用场景

该研究成果可应用于室内导航、机器人导航、智能家居、增强现实等领域。例如，在商场或博物馆等复杂环境中，用户可以通过语音指令引导机器人或AR设备进行导航。该技术还可以帮助视力障碍人士进行安全导航，提高生活质量。未来，该技术有望与更高级的AI技术结合，实现更智能、更自然的交互体验。

📄 摘要（原文）

Conversational agents must translate egocentric utterances (e.g., "on my right") into allocentric orientations (N/E/S/W). This challenge is particularly critical in indoor or complex facilities where GPS signals are weak and detailed maps are unavailable. While chain-of-thought (CoT) prompting has advanced reasoning in language and vision tasks, its application to multimodal spatial orientation remains underexplored. We introduce Conversational Orientation Reasoning (COR), a new benchmark designed for Traditional Chinese conversational navigation projected from real-world environments, addressing egocentric-to-allocentric reasoning in non-English and ASR-transcribed scenarios. We propose a multimodal chain-of-thought (MCoT) framework, which integrates ASR-transcribed speech with landmark coordinates through a structured three-step reasoning process: (1) extracting spatial relations, (2) mapping coordinates to absolute directions, and (3) inferring user orientation. A curriculum learning strategy progressively builds these capabilities on Taiwan-LLM-13B-v2.0-Chat, a mid-sized model representative of resource-constrained settings. Experiments show that MCoT achieves 100% orientation accuracy on clean transcripts and 98.1% with ASR transcripts, substantially outperforming unimodal and non-structured baselines. Moreover, MCoT demonstrates robustness under noisy conversational conditions, including ASR recognition errors and multilingual code-switching. The model also maintains high accuracy in cross-domain evaluation and resilience to linguistic variation, domain shift, and referential ambiguity. These findings highlight the potential of structured MCoT spatial reasoning as a path toward interpretable and resource-efficient embodied navigation.