Beyond Words Alone: Disentangling Distributed Evidence for Visually Grounded Cultural Translation
作者: Dingming Li, Yiwen Qiu, Linjuan Wu, Hongxing Li, Zixuan Wang, Xinze Lyu, Ye Guo, Daoxin Zhang, Zhe Xu, Weiming Lu, Yongliang Shen
分类: cs.CL, cs.AI, cs.CV
发布日期: 2026-10-26
💡 一句话要点
提出Culture-MMT以解决社交媒体翻译中的文化适应问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交媒体翻译 文化适应 多模态融合 视觉证据 分布证据
📋 核心要点
- 现有翻译方法往往忽视图像的作用，导致文化适应不足，影响翻译质量。
- 本文提出Culture-MMT基准，系统评估社交媒体翻译中分布证据的影响，强调视觉和文化因素。
- 实验显示，真实图像在视觉和混合翻译中显著提升性能，揭示了文化翻译的复杂性。
📝 摘要（中文）
社交媒体促进了跨语言交流，但用户生成内容（UGC）的意义往往分布在文本、图像和文化知识中，使得翻译变得复杂。现有评估通常将图像视为可选，假设文本信息足够，掩盖了错误是否源于缺失视觉证据或文化适应不足。本文提出了Culture-MMT，一个用于社交媒体翻译的分布证据实用重建的诊断基准，包含498个经过策划的UGC实例，跨越20个领域，按所需证据分为符号、视觉和混合三类。我们还开发了一个人类对齐的领域特定评估者Judger，以及一个系统性变化翻译者可用证据的控制评估框架。实验结果表明，真实图像在视觉和混合类别上分别提高了+0.280和+0.197的性能，但在符号类别上仅提高了+0.050，而随机图像未能提供可比的提升。这些结果表明，文化有效的社交媒体翻译需要从分布证据中重建意义，强调视觉基础和文化-实用适应是模型的不同瓶颈。
🔬 方法详解
问题定义：本文旨在解决社交媒体翻译中由于文本、图像和文化知识分布而导致的翻译困难。现有方法往往忽视图像的作用，导致翻译质量下降，尤其是在文化适应方面。
核心思路：我们提出Culture-MMT基准，通过系统性地评估翻译中所需的不同证据类型，帮助识别翻译中的瓶颈，特别是视觉和文化适应的不足。
技术框架：该框架包括三个主要模块：UGC实例的策划与分类、Judger评估者的开发，以及控制评估框架的构建。通过这些模块，我们能够系统地变化翻译者可用的证据类型，评估其对翻译效果的影响。
关键创新：最重要的创新点在于引入了分布证据的概念，强调视觉和文化因素在翻译中的独特作用，与传统方法相比，提供了更全面的评估视角。
关键设计：在实验中，我们设置了17种模型配置，采用真实图像和随机图像进行对比，使用特定的损失函数来优化翻译效果，确保评估的准确性和可靠性。实验结果显示，真实图像的使用显著提升了翻译性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用真实图像在视觉和混合翻译中分别提高了+0.280和+0.197的性能，而在符号翻译中仅提高了+0.050。随机图像未能提供可比的提升，显示出视觉证据在文化翻译中的重要性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容翻译、跨文化交流平台以及多模态翻译系统。通过提高翻译的文化适应性和准确性，能够更好地服务于全球用户，促进不同文化之间的理解与交流。未来，该方法还可能扩展到其他类型的多模态内容翻译中。
📄 摘要（原文）
Social media enables cross-lingual communication, yet the meaning of user-generated content (UGC) is often distributed across text, images, and cultural knowledge, making translation challenging. Existing evaluations typically treat images as optional and assume textual information is sufficient, obscuring whether errors stem from missing visual evidence or inadequate cultural adaptation. We introduce \textbf{Culture-MMT}, a diagnostic benchmark for \textbf{distributed-evidence pragmatic reconstruction} in social-media translation. It contains 498 curated, de-identified UGC instances across 20 domains, categorized into Symbol, Visual, and Hybrid by their required evidence. We also develop a human-aligned domain-specific judge, Judger, and a controlled evaluation framework that systematically varies the evidence available to translators. Across 17 model configurations, real images improve performance by +0.280 on Visual and +0.197 on Hybrid, but only +0.050 on Symbol, while random images provide no comparable gains. Human-authored descriptions further show that jointly dependent cases remain more challenging even when visual facts are explicit. These results characterize culturally effective social-media translation as {meaning reconstruction from distributed evidence}, highlighting visual grounding and cultural-pragmatic adaptation as distinct model bottlenecks.