Advancing DialNav through Automatic Embodied Dialog Augmentation
作者: Leekyeung Han, Sangwon Jung, Hyunji Min, Jinseong Jeong, Minyoung Kim, Paul Hongsuck Seo
分类: cs.AI
发布日期: 2026-06-18
备注: 29 pages, 9 figures
💡 一句话要点
通过自动化对话增强推进DialNav以解决训练数据不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话生成 视觉导航 数据增强 智能体 机器人导航 深度学习 多轮对话
📋 核心要点
- 现有的DialNav框架在对话-执行循环的评估中表现有限，主要受制于训练数据的稀缺性。
- 提出了一种自动生成管道，构建了RAINbow数据集，并引入双策略训练和定位模型以提升性能。
- 实验结果显示，模型在Val Seen和Val Unseen数据集上的成功率分别提升了89%和100%，建立了新的性能基准。
📝 摘要（中文）
对于能够进行物理交互的智能体，创建和理解对话的能力对于确保安全性和有效性至关重要。DialNav提供了一个全面评估对话-执行循环的框架，但其性能受到训练数据稀缺（仅2K个回合）的限制。为了解决这一问题，本文提出了一种自动生成管道，并构建了RAINbow数据集，这是一个包含238K个回合的大规模训练数据集。该管道将现有的视觉导航数据集转换为多轮对话，并创建了高效且高质量的数据集。此外，本文还引入了两个互补的进展：双策略训练和利用视觉导航知识的定位模型。通过结合这些解决方案，模型在成功率上显著超越基线，创造了新的最佳表现。
🔬 方法详解
问题定义：本文旨在解决DialNav框架在物理交互中对话生成和理解能力不足的问题，尤其是训练数据的稀缺性限制了模型的性能。
核心思路：通过自动生成管道将现有的视觉导航数据集转换为多轮对话，构建大规模的RAINbow数据集，从而提供丰富的训练数据。
技术框架：整体架构包括数据生成模块、双策略训练模块和定位模型。数据生成模块负责将现有数据集转换为对话形式，双策略训练模块则对导航和对话进行动态对齐。
关键创新：最重要的创新在于构建了RAINbow数据集，并引入双策略训练和利用视觉导航知识的定位模型，这些方法有效提升了模型的成功率。
关键设计：在模型设计中，采用了特定的损失函数来优化对话生成和导航任务的协同训练，同时在定位模型中集成了视觉导航的知识，以提高定位精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在Val Seen和Val Unseen数据集上的成功率分别达到了58.24%（提升89%）和29.05%（提升100%），显著超越了基线，确立了新的性能标准，展示了方法的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人导航和虚拟助手等场景。通过增强智能体的对话能力，可以提升人机交互的自然性和有效性，进而推动相关技术的商业化和普及。未来，该方法可能在更复杂的环境中实现更高级的交互能力。
📄 摘要（原文）
For embodied agents capable of physical interaction, the capability to create and understand dialog is crucial to ensure both safety and effectiveness. While DialNav~\cite{han2025dialnav} provides a framework for holistic evaluation of the dialog--execution loop in photorealistic indoor navigation, its performance remains limited by a critical scarcity of training data (2K episodes). To address this, we propose an automatic generation pipeline, and construct the \textbf{RAINbow} dataset, a large-scale training dataset with 238K episodes for DialNav. Our pipeline converts existing VLN datasets into multi-turn dialog and creates cost-efficient and high-quality dataset. Then, we introduce two additional complementary advances to unlock the data's full potential: (1) Dual-Strategy Training, a navigation training scheme to align the navigation training with the dynamic dialog-navigation loop, and (2) a localization model that leverages VLN knowledge. By combining these complementary solutions, our model substantially outperforms the baseline in success rate on both \textbf{Val Seen} (58.24, \textbf{+89\%}) and \textbf{Val Unseen} (29.05, \textbf{+100\%}) splits, establishing a new state of the art.