Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese

📄 arXiv: 2608.01629v1 📥 PDF

作者: Naho Orita, Hayato Ogawa, Daisuke Kawahara

分类: cs.CL

发布日期: 2026-08-03

💡 一句话要点

研究人类与大型语言模型在日语非母语态度的对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 语言态度 非母语评估 日语 偏见分析 教育技术 公平性

📋 核心要点

  1. 现有的语言模型在评估非母语者的写作时，可能会加剧对其语言能力的偏见，尤其是在高风险领域。
  2. 本文通过语言态度框架，比较了人类和LLM对日语邮件的评估，揭示了模型与人类评审之间的偏差。
  3. 实验结果表明，LLM在流利度、地位和团结感的评估上与人类存在显著差异，尤其是在团结感的低估上。

📝 摘要（中文）

大型语言模型（LLMs）在招聘和学术评估等高风险领域中越来越多地评估人类写作，这使得非母语者面临特别的风险。基于语言态度框架，本文比较了人类与LLM对平行的母语（L1）和非母语（L2）日语邮件的评估，涉及流利度、地位和团结感三个维度。结果显示，日语评审对L2文本在所有三个维度的评分显著较低，流利度差距约为地位和团结感差距的两倍。六个LLM评审重现了这种偏见的方向，五个重现了其维度排序。LLM在两个方面与人类评审存在差异：所有模型都低估了团结感差距，并且所有模型在学习者的L1背景上进行了区分，而人类评审则没有。LLM评审因此以结构化但减弱的形式重现了母语者的语言态度。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在评估非母语者写作时可能引发的偏见问题。现有方法未能充分考虑非母语者在语言能力评估中的公平性，尤其是在高风险领域如招聘和学术评估中。

核心思路：论文通过语言态度框架，比较人类和LLM对日语邮件的评估，分析其在流利度、地位和团结感三个维度上的表现，以揭示模型的偏见和局限性。

技术框架：研究采用了定量分析方法，首先收集了L1和L2日语邮件样本，然后邀请日语评审和LLM对这些样本进行评分，最后对比分析两者的评估结果。

关键创新：最重要的创新在于将语言态度框架应用于LLM的评估，揭示了模型在社会维度上的偏见，尤其是对团结感的低估。这一发现为后续的模型审计提供了新的视角。

关键设计：在实验设计中，采用了标准化的评分系统，确保评审在流利度、地位和团结感三个维度上的评分一致性，同时对LLM的输出进行了系统的分析，以识别其偏见来源。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，日语评审对L2文本在流利度、地位和团结感三个维度的评分显著低于L1文本，流利度差距约为地位和团结感差距的两倍。LLM评审重现了这种偏见的方向，且在团结感的评估上存在低估现象，显示出模型与人类评审之间的显著差异。

🎯 应用场景

该研究的潜在应用领域包括教育、招聘和语言评估等高风险场景。通过理解和审计LLM的语言态度，可以为非母语者提供更公平的评估环境，减少因语言能力偏见导致的机会不平等。未来，研究结果可能推动更具包容性的语言模型设计。

📄 摘要（原文）

Large language models (LLMs) increasingly evaluate human writing in high-stakes domains such as hiring and academic assessment, putting non-native speakers at particular risk. Drawing on the language attitudes framework, we compared human and LLM evaluations of parallel L1- and L2-written Japanese emails on three dimensions: fluency, status, and solidarity. Japanese raters rated L2 texts significantly lower on all three dimensions, with a fluency gap roughly twice the size of the status and solidarity gaps. Six LLM judges reproduced the direction of this bias, and five reproduced its ordering across dimensions. The models diverged from humans in two ways: all understated the solidarity gap, the most socially grounded dimension, and all differentiated among learner L1 backgrounds where humans did not. LLM judges thus reproduce native speakers' language attitudes in a structured yet attenuated form, and the language attitudes framework offers a ready-made yardstick for auditing them beyond English.