BrailleBench: Investigating Multi-Criteria Braille Comprehension in Large Language Models

📄 arXiv: 2608.27268v1 📥 PDF

作者: Jinghan Zhang, Fengran Mo, Zhiyu Chen, Xiaoyan Han, Kunpeng Liu, Chang-Tien Lu

分类: cs.AI, cs.CL, cs.HC

发布日期: 2026-08-27

💡 一句话要点

提出BrailleBench以解决盲人和聋盲用户的盲文理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 盲文理解 大型语言模型 无障碍技术 评估基准 教育工具 社会包容性

📋 核心要点

  1. 现有的AI系统在盲文理解方面的能力不足，无法满足盲人和聋盲用户的需求。
  2. 本文提出BrailleBench基准，通过5570个实例评估LLMs在盲文理解、表达和交互中的表现。
  3. 实验结果表明，印刷英语能力与盲文可及性之间存在持续差距，盲文二级的理解能力尤其脆弱。

📝 摘要（中文）

尽管大型语言模型（LLMs）在知识获取和计算辅助方面具有潜力，但其对盲人和聋盲用户的包容性尚不明确。为此，本文提出BrailleBench，一个用于评估LLMs在盲文理解方面的基准，涵盖数学、常识和多跳问答等领域，包含5570个实例。通过专家审查的确定性流程构建基准，确保评估质量，结果显示印刷英语能力与盲文可及性之间存在显著差距，尤其是盲文二级在输入方面表现脆弱。所有相关资源均公开可用，以促进未来研究。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在盲文理解方面的不足，尤其是盲人和聋盲用户的可及性问题。现有方法未能充分考虑盲文的特殊需求和表现差异。

核心思路：论文提出BrailleBench基准，通过对不同数据集的实例进行评估，旨在全面理解LLMs在盲文内容理解、表达和交互中的能力。设计时考虑了盲文的独特性，以确保评估的全面性和准确性。

技术框架：BrailleBench基准包含5570个实例，涵盖数学、常识和多跳问答等领域，分为盲文一级和二级。评估过程通过专家审查的确定性流程进行，确保数据质量。

关键创新：BrailleBench的最大创新在于其专注于盲文理解的多标准评估，填补了现有LLMs评估中的空白，特别是针对盲人用户的需求。

关键设计：基准构建过程中采用了自创的盲文工具包，确保不使用LLMs生成的数据实例，避免评估偏差。评估了六个代表性的LLMs，结果显示盲文理解和表达之间存在不对称性，尤其是盲文二级在输入方面表现较差。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，印刷英语能力与盲文可及性之间存在显著差距，盲文二级在输入方面的表现尤其脆弱。评估的六个LLMs在盲文理解和表达方面的能力不对称，进一步验证了BrailleBench基准的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括盲人辅助技术、教育工具和无障碍信息获取。通过改进盲文理解能力，未来的AI系统可以更好地服务于盲人和聋盲用户，提高他们的信息获取和交互能力，促进社会的包容性。

📄 摘要（原文）

Although Large language models (LLMs) mediate access to knowledge and computational assistance, their capabilities should benefit vulnerable groups in the same way. However, it is unclear whether existing AI systems are inclusive enough for blind and deafblind users to access the same functionality through Braille, whose indicators, contractions, and digital representations introduce distinct requirements for model comprehension. To this end, we introduce BrailleBench, a benchmark for evaluating LLMs in Braille comprehension from different Criteria. BrailleBench aligns 5,570 instances from five datasets, including mathematics, commonsense, and multi-hop question answering across English and Braille Grades 1 and 2. Different configurations are designed to understand whether the systems can comprehend Braille-authored content, express answers in Braille, and complete end-to-end Braille interaction. To ensure the quality and prevent evaluation bias, the benchmark is built through a deterministic, expert-reviewed pipeline via a self-created Braille Toolkit without using any data instances generated by LLMs. We evaluate six representative LLMs from various aspects. The results reveal a persistent gap between print-English capability and Braille accessibility. Braille understanding and expression are asymmetric, where Grade 2 is especially fragile on the input side compared to Grade 1, and fully Braille requests further reduce performance. The experimental observations provide valuable guidance for the development of future Braille AI systems. All related resources in BrailleBench are publicly available for future research.