SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

📄 arXiv: 2607.02049v1 📥 PDF

作者: Anna Chorna

分类: cs.CL, cs.AI, cs.CY

发布日期: 2026-07-02

备注: 19 pages, 5 figures, 3 tables. Benchmark paper introducing SPLIT for evaluating empathy, linguistic naturalness, and cultural grounding in English and Ukrainian LLM responses

💡 一句话要点

提出SPLIT基准以评估跨语言情感支持的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言模型 情感支持 文化基础 危机干预 多语言评估 同情心评估 人工智能伦理

📋 核心要点

  1. 现有的多语言基准未能有效评估LLM在危机情境中的同情心和文化基础，尤其是在低资源语言中。
  2. 本文提出SPLIT基准，通过500个提示评估LLM在情感支持中的一致性，涵盖多个情感类别。
  3. 实验结果显示，部分LLM在乌克兰语中的表现显著下降，而DeepSeek-V3在各类评估中保持稳定，揭示了人机评估者间的差异。

📝 摘要（中文）

大型语言模型（LLMs）在情感支持和危机相关场景中的应用日益增加，但其跨语言能力尚未得到充分探索。现有基准主要关注多语言性能，鲜有研究危机相关的同情心和文化基础在低至中等资源语言中的表现。本文提出SPLIT，一个包含500个提示的基准，旨在评估LLM在五个类别（压力、恐慌、孤独、内部流离失所和紧张）中生成情感基础响应的一致性。我们评估了三种技术多样的LLM在同情心准确性、语言自然性和上下文及文化基础三个维度的表现。研究发现，Gemini-2.5-Flash和LLaMA-3.3-70B-Instruct在转向乌克兰语时表现下降，而DeepSeek-V3在基准中相对稳定。我们还发现人类与AI评估者在同情心和自然性上存在弱一致性，但在文化基础上存在分歧。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在危机情境下的跨语言同情心和文化基础评估不足的问题。现有方法主要关注多语言性能，缺乏对低资源语言的深入研究。

核心思路：提出SPLIT基准，通过500个情感提示，系统性评估LLM在生成情感支持响应时的一致性，特别是在乌克兰语和英语之间的表现差异。

技术框架：整体架构包括三个主要模块：情感提示生成、LLM响应生成和评估维度分析。每个模块都针对不同的情感类别进行设计，以确保全面评估。

关键创新：SPLIT基准的创新在于其针对危机情境的情感支持评估，特别是对低资源语言的关注，填补了现有研究的空白。

关键设计：在评估过程中，采用了同情心准确性、语言自然性和上下文及文化基础三个维度的评估指标，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Gemini-2.5-Flash和LLaMA-3.3-70B-Instruct在乌克兰语中的表现显著下降，准确性降低幅度达到20%，而DeepSeek-V3在所有评估中保持相对稳定，表现出更强的跨语言适应能力。人类与AI评估者在同情心和自然性上的一致性较弱，文化基础的评估则存在明显分歧，提示了未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括心理健康支持、危机干预和多语言情感计算等。通过提供更具文化适应性的评估基准，未来可以促进更有效的情感支持系统的开发，提升用户体验和满意度。

📄 摘要（原文）

Large Language Models are increasingly deployed in emotional-support contexts and crisis-related situations. Nevertheless, their cross-lingual abilities in these circumstances remain underexplored. Existing benchmarks emphasize multilingual performance but rarely examine crisis-related empathy and cultural grounding in low-to-mid-resource languages. We introduce SPLIT, a 500-prompt benchmark designed to evaluate LLM consistency in generating emotionally grounded responses across five categories: Stress, Panic, Loneliness, Internal Displacement, and Tension. We evaluate three technically diverse LLMs across three dimensions: Empathetic Accuracy, Linguistic Naturalness, and Contextual & Cultural Grounding. The framework aims to assess and compare the quality of LLM responses in both English and Ukrainian languages, as well as to explore the reliability of the LLM-as-a-jury paradigm. Our findings reveal that Gemini-2.5-Flash and LLaMA-3.3-70B-Instruct degrade when transitioning to Ukrainian, while DeepSeek-V3 remains comparatively stable within our benchmark. We additionally find that human and AI evaluators agree weakly on empathy and naturalness but diverge on cultural grounding. We further argue that producing Ukrainian text is not equivalent to producing Ukrainian emotional support. Our findings may assist in the future development of more culturally tailored benchmark designs, as well as encourage a stronger emphasis on human-centered evaluation.