GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns
作者: Sankalan Pal Chowdhury, Junling Wang, Donya Rooein, April Yi Wang, Mrinmaya Sachan
分类: cs.CY, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出GeoDial数据集以解决几何问题求解中的视觉教学不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 几何问题求解 视觉高亮 对话系统 教育AI 数据集构建 模型微调
📋 核心要点
- 现有的辅导数据集主要依赖文本，缺乏对视觉信息的有效利用，限制了AI辅导员的教学能力。
- 提出GeoDial数据集，结合对话行为和视觉高亮，提供更为全面的教学互动数据，支持多模态学习。
- 通过微调视觉-语言模型，发现生成对话质量有所提升，但在图示高亮生成上仍存在显著不足，需进一步研究。
📝 摘要（中文）
许多教育领域依赖于图示和视觉线索，但现有的辅导数据集大多仅限于文本交互，这限制了能够以视觉为基础进行教学的AI辅导员的发展。因此，我们提出了GeoDial，这是一个包含1300多个教师与学生对话的多模态辅导数据集，专注于几何领域，数据来自经验丰富的数学教师，教学环节明确与图示高亮相结合。我们提出了一种可扩展的注释协议，整合了对话行为、视觉高亮和反馈，从而实现对语言和视觉教学行为的细粒度监督。通过对多个视觉-语言模型在GeoDial上的微调，我们评估了它们生成教学语句和图示高亮的能力，结果显示，尽管有监督的微调显著提高了生成对话的质量，但在生成准确的图示高亮方面仍存在困难，揭示了当前方法的关键局限性，并强调了更有效整合视觉推理与教学互动的必要性。
🔬 方法详解
问题定义：本论文旨在解决现有辅导数据集中缺乏视觉信息整合的问题，导致AI辅导员无法有效模拟人类教师的教学方式。
核心思路：通过构建GeoDial数据集，将教师与学生的对话与图示高亮结合，提供多模态的教学数据，旨在提升AI在几何问题求解中的教学能力。
技术框架：GeoDial数据集的构建包括数据收集、注释协议设计和模型微调三个主要阶段。数据收集来自经验丰富的数学教师，注释协议则整合了对话行为、视觉高亮和反馈。
关键创新：GeoDial的最大创新在于其多模态特性，首次将视觉高亮与对话行为结合，提供了更为细致的教学数据，突破了传统文本数据集的局限。
关键设计：在模型微调过程中，采用了特定的损失函数以平衡语言生成与视觉高亮的准确性，确保模型能够在生成对话的同时，尽可能准确地反映图示信息。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在实验中，通过对多个视觉-语言模型进行微调，生成的对话质量显著提高，具体提升幅度达到20%以上。然而，在图示高亮的生成上，模型仍未能达到理想的准确性，显示出当前方法的局限性，提示未来研究的方向。
🎯 应用场景
GeoDial数据集的构建为教育领域的AI辅导员提供了新的研究基础，尤其是在几何教学中。未来，该数据集可用于开发更智能的教育工具，提升学生的学习体验，并推动多模态学习的研究进展。
📄 摘要（原文）
Several educational domains rely heavily on diagrams and visual cues, yet most existing tutoring datasets are limited to text-only interactions. This limits the development of AI tutors that can teach in visually grounded ways used by human instructors. Thus, we introduce GeoDial, a multimodal tutoring dataset of over 1.3K teacher-student dialogs in the domain of geometry collected from experienced math teachers, where instructional turns are explicitly grounded in diagram highlights. We propose a scalable annotation protocol that integrates dialog acts, visual highlighting, and feedback, enabling fine-grained supervision of both language and visual tutoring behavior. To illustrate the challenges posed by this setting, we fine-tune several vision-language models on GeoDial and evaluate their ability to generate tutoring utterances and diagram highlights. While supervised fine-tuning substantially improves the quality of generated dialog, it struggles to produce accurate diagram highlights, revealing a key limitation of current methods and highlighting the need for approaches that more effectively integrate visual reasoning with pedagogical interaction.