SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

📄 arXiv: 2607.02049 📥 PDF

作者: Anna Chorna

分类: cs.CL, cs.AI, cs.CY

发布日期: 2026-07-05

💡 一句话要点

提出SPLIT基准以评估跨语言情感支持能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言情感支持 文化适应性 大型语言模型 情感计算 危机干预

📋 核心要点

  1. 现有大型语言模型在危机情境中的跨语言情感支持能力尚未得到充分研究，尤其是在低资源语言中。
  2. 本文提出SPLIT基准，通过500个提示评估语言模型在情感支持中的一致性，涵盖多个情感类别。
  3. 实验结果显示，部分模型在乌克兰语中表现不佳，而DeepSeek-V3相对稳定，强调了文化适应性的重要性。

📝 摘要（中文）

大型语言模型在情感支持和危机相关场景中的应用日益增多，但其跨语言能力尚未得到充分探索。现有基准主要关注多语言性能，鲜有针对低资源语言的危机相关情感和文化基础的研究。本文提出SPLIT，一个包含500个提示的基准，旨在评估语言模型在五个类别（压力、恐慌、孤独、内部流离失所和紧张）下生成情感基础响应的一致性。我们评估了三种技术多样的语言模型在同情准确性、语言自然性和上下文及文化基础三个维度的表现。研究发现，Gemini-2.5-Flash和LLaMA-3.3-70B-Instruct在转向乌克兰语时性能下降，而DeepSeek-V3在基准中相对稳定。我们还发现人类和AI评估者在同情和自然性上存在弱一致性，但在文化基础上存在分歧。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在危机情境下的跨语言情感支持能力不足的问题，尤其是在低资源语言（如乌克兰语）中的表现。现有方法往往忽视了情感和文化基础的评估。

核心思路：提出SPLIT基准，通过500个情感提示评估语言模型在不同情感类别下的响应一致性，强调情感准确性和文化适应性。

技术框架：该框架包括三个主要模块：情感类别的定义、语言模型的评估和人类与AI评估者的比较。每个模块都针对特定的评估维度进行设计。

关键创新：SPLIT基准的创新之处在于其专注于危机相关情感的跨语言评估，尤其是低资源语言的文化适应性，与现有多语言基准相比，提供了更具针对性的评估方法。

关键设计：在设计中，采用了多维度评估标准，包括同情准确性、语言自然性和文化基础，确保评估结果的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gemini-2.5-Flash和LLaMA-3.3-70B-Instruct在乌克兰语中的表现显著下降，而DeepSeek-V3在基准测试中保持相对稳定。这一发现强调了在多语言情感支持中考虑文化适应性的必要性。

🎯 应用场景

该研究的潜在应用领域包括心理健康支持、危机干预和多语言情感计算。通过改进语言模型在低资源语言中的情感支持能力，能够为更多用户提供有效的情感帮助，促进人机交互的文化适应性。

📄 摘要（原文）

Large Language Models are increasingly deployed in emotional-support contexts and crisis-related situations. Nevertheless, their cross-lingual abilities in these circumstances remain underexplored. Existing benchmarks emphasize multilingual performance but rarely examine crisis-related empathy and cultural grounding in low-to-mid-resource languages. We introduce SPLIT, a 500-prompt benchmark designed to evaluate LLM consistency in generating emotionally grounded responses across five categories: Stress, Panic, Loneliness, Internal Displacement, and Tension. We evaluate three technically diverse LLMs across three dimensions: Empathetic Accuracy, Linguistic Naturalness, and Contextual & Cultural Grounding. The framework aims to assess and compare the quality of LLM responses in both English and Ukrainian languages, as well as to explore the reliability of the LLM-as-a-jury paradigm. Our findings reveal that Gemini-2.5-Flash and LLaMA-3.3-70B-Instruct degrade when transitioning to Ukrainian, while DeepSeek-V3 remains comparatively stable within our benchmark. We additionally find that human and AI evaluators agree weakly on empathy and naturalness but diverge on cultural grounding. We further argue that producing Ukrainian text is not equivalent to producing Ukrainian emotional support. Our findings may assist in the future development of more culturally tailored benchmark designs, as well as encourage a stronger emphasis on human-centered evaluation.