DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

📄 arXiv: 2510.14949v1 📥 PDF

作者: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

分类: cs.CL, cs.CV, cs.LG

发布日期: 2025-10-16

💡 一句话要点

DialectGen：构建方言鲁棒性基准，并提出编码器方法提升多模态生成模型方言处理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 方言鲁棒性 编码器 对比学习 图像生成 文本生成 自然语言处理

📋 核心要点

  1. 现有方法在处理包含方言词汇的多模态生成任务时，性能显著下降，缺乏对方言的鲁棒性。
  2. 提出一种基于编码器的缓解策略，旨在提升模型对方言特征的识别能力，同时避免损害标准英语的生成效果。
  3. 实验结果表明，该方法能够有效提升模型在多种方言上的生成性能，并保持在标准美式英语上的原有水平。

📝 摘要（中文）

本文研究了多模态生成模型在处理方言文本输入时的表现，构建了一个包含六种常见英语方言的大规模基准数据集DialectGen。该数据集包含超过4200个由方言使用者收集和验证的独特提示。在17个图像和视频生成模型上的评估结果表明，当提示中使用单个方言词时，模型性能会下降32.26%到48.17%。微调和提示重写等常见缓解方法只能略微提高方言性能（<7%），并且可能导致标准美式英语（SAE）性能显著下降。为此，本文设计了一种通用的基于编码器的缓解策略，使模型能够识别新的方言特征，同时保持SAE性能。在Stable Diffusion 1.5等模型上的实验表明，该方法能够将五种方言的性能提高到与SAE相当的水平（+34.4%），而对SAE性能几乎没有影响。

🔬 方法详解

问题定义：现有的多模态生成模型在处理包含方言词汇的文本提示时，性能会显著下降。这是因为这些模型通常在标准英语语料库上训练，缺乏对方言变体的理解和生成能力。现有的微调和提示重写等方法，虽然可以略微提升方言性能，但往往会损害模型在标准英语上的表现，无法有效解决方言鲁棒性问题。

核心思路：本文的核心思路是设计一个编码器，用于学习和识别方言特征，并将这些特征融入到多模态生成模型中。通过这种方式，模型可以在不影响其在标准英语上的表现的前提下，提升对方言的理解和生成能力。该方法旨在弥合标准英语和各种方言之间的差距，提高模型的通用性和实用性。

技术框架：该方法主要包含以下几个模块：1) 方言数据收集与验证：构建包含多种英语方言的大规模数据集DialectGen。2) 编码器设计：设计一个编码器，用于学习方言特征。3) 模型集成：将编码器学习到的方言特征融入到现有的多模态生成模型中。4) 训练与优化：使用包含方言和标准英语的数据集对模型进行训练和优化。

关键创新：该方法最重要的技术创新点在于其通用的基于编码器的缓解策略。与传统的微调和提示重写方法不同，该方法能够同时提升模型在多种方言上的性能，并保持其在标准英语上的原有水平。这种方法避免了在方言和标准英语之间进行权衡，从而实现了更好的整体性能。

关键设计：编码器采用Transformer结构，通过对比学习的方式，学习区分不同方言的特征表示。损失函数包括方言识别损失和生成损失，前者用于提升编码器对方言的识别能力，后者用于保证生成质量。在模型集成方面，采用特征融合的方式，将编码器学习到的方言特征与原始文本特征进行融合，然后输入到多模态生成模型中。

📊 实验亮点

实验结果表明，该方法能够显著提升模型在五种方言上的生成性能，使其达到与标准美式英语相当的水平（+34.4%），同时对标准美式英语的性能几乎没有影响。相比于微调和提示重写等基线方法，该方法在方言鲁棒性和标准英语性能之间取得了更好的平衡。

🎯 应用场景

该研究成果可应用于各种多模态生成任务，例如图像生成、视频生成、文本生成等。通过提升模型对方言的鲁棒性，可以使其更好地服务于不同地区的方言使用者，提高用户体验。此外，该方法还可以推广到其他语言和方言，具有广泛的应用前景。

📄 摘要（原文）

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.