Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors

📄 arXiv: 2608.06300v1 📥 PDF

作者: Arya Labroo, Mengjie Qian, Kate Knill

分类: cs.AI

发布日期: 2026-08-06

💡 一句话要点

基于概念激活向量的L2口语评估系统偏差分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评估 口语能力 概念激活向量 神经网络 公平性分析 稀疏自编码器 多模态评估 机器学习

📋 核心要点

  1. 现有的自动口语评估系统在公平性和可解释性方面存在挑战，尤其是在处理无关属性时。
  2. 本文提出使用概念激活向量（CAVs）分析两种神经网络口语评估系统，以区分概念的编码与其对评分的影响。
  3. 实验结果显示，稀疏自编码器（SAEs）能够提高概念的线性可恢复性，但在低维层中降低了原始激活空间的敏感性。

📝 摘要（中文）

自动口语评估系统在高风险环境中被广泛应用于评估第二语言学习者的口语能力，因此确保评分依赖于口语能力而非无关的说话者属性（如母语或年龄）至关重要。尽管基于Transformer的模型提高了评估的准确性，但其黑箱特性使得公平性和可解释性分析变得更加困难。本文扩展了概念激活向量（CAVs）在特征基础评估器中的应用，分析了文本基础的BERT评估器和基于Whisper的多模态评估系统。研究表明，概念的可恢复性与被探测的表示和架构密切相关，而非仅仅是概念本身。

🔬 方法详解

问题定义：本文旨在解决自动口语评估系统中评分偏差的问题，尤其是如何确保评分依赖于口语能力而非无关属性。现有方法在公平性和可解释性分析上存在不足，尤其是黑箱模型的特性使得难以理解模型的决策过程。

核心思路：论文的核心思路是扩展概念激活向量（CAVs）分析方法，应用于两种不同的神经网络口语评估系统，以探讨概念在模型内部表示中的编码和对评分的影响。通过这种方式，可以更好地理解模型的偏差来源。

技术框架：整体架构包括两个主要模块：文本基础的BERT评估器和基于Whisper的多模态评估器。首先，使用CAVs表示人类可解释的概念，然后通过梯度敏感性度量量化这些概念对评分的影响。

关键创新：本文的主要创新在于将CAVs分析扩展到复杂的神经网络架构中，并探讨稀疏自编码器（SAEs）在概念恢复中的作用。与现有方法相比，SAEs提供了更清晰的概念方向，但在某些情况下降低了激活空间的敏感性。

关键设计：在设计中，使用了稀疏自编码器来学习稀疏潜在空间中的CAVs，并将其映射回激活空间。此外，论文还探讨了不同架构对概念敏感性的影响，强调了概念恢复与影响之间的区别。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，稀疏自编码器（SAEs）在概念的线性可恢复性上有显著提升，但在低维层中对激活空间的敏感性有所降低。这一发现强调了在审计口语评估系统偏差时，区分概念的可恢复性与影响的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言学习评估和人工智能公平性审计。通过提高口语评估系统的公平性和可解释性，可以为教育工作者和政策制定者提供更可靠的工具，从而改善语言学习者的评估体验和结果。未来，这种方法可能会扩展到其他类型的自动评估系统中，推动教育领域的技术进步。

📄 摘要（原文）

Automatic speaking assessment systems are increasingly deployed in high-stakes settings to mark second language (L2) learners' speaking tests, making it critical to show that their scores depend on speaking proficiency rather than irrelevant speaker attributes such as first language (L1) or age. Transformer-based foundation models have improved the accuracy of these L2 speaking graders, but their black-box representations make fairness and interpretability analysis more difficult. Building on prior work that used Concept Activation Vectors (CAVs) to detect bias towards unwanted attributes (`concepts') in feature-based graders, we extend CAV-based analysis to two neural speaking assessment systems: a text-based BERT grader and a speech-and-text multimodal grader based on Whisper. CAVs represent human-interpretable concepts as directions in a model's activation space, allowing us to distinguish between whether a concept is encoded in a model's internal representations and whether it influences the predicted score, the latter quantified using a gradient-based sensitivity metric. Since CAVs rely on linear separability, which is less likely in complex neural embedding spaces, we also investigate whether sparse autoencoders (SAEs) provide cleaner concept directions by learning CAVs in a sparse latent space and mapping them back to activation space. Our analysis shows that concept recoverability depends strongly on the representation and architecture being probed, rather than on the concept alone. Sensitivity to concepts is also architecture-dependent. SAEs make concepts more linearly recoverable, but attenuate the original activation-space sensitivity, especially in low-dimensional layers. These findings highlight the need to distinguish concept recoverability from concept influence when auditing bias in speaking assessment systems.