ACCESS: Prompt Engineering for Automated Web Accessibility Violation Corrections

📄 arXiv: 2401.16450v2 📥 PDF

作者: Calista Huang, Alyssa Ma, Suchir Vyasamudri, Eugenie Puype, Sayem Kamal, Juan Belza Garcia, Salar Cheema, Michael Lutz

分类: cs.HC, cs.AI, cs.SE

发布日期: 2024-01-28 (更新: 2024-02-10)

备注: 11 pages, 6 figures

💡 一句话要点

提出ACCESS以解决网页无障碍访问问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网页无障碍 自动修正 大型语言模型 提示工程 文档对象模型 无障碍标准 数字包容性

📋 核心要点

  1. 现有方法主要集中在发现无障碍错误，但缺乏有效的自动修正手段，导致大量网站仍不符合无障碍标准。
  2. 本文提出通过实时修改DOM，结合大型语言模型和提示工程技术，自动修正网页无障碍违规问题。
  3. 实验结果显示，使用该方法后，ACCESS基准上的无障碍违规错误减少超过51%，显著提升了网页的无障碍性。

📝 摘要（中文）

随着对包容性和用户友好技术需求的增加，网页无障碍性对于确保残障人士平等访问在线内容至关重要。尽管存在诸如网页内容无障碍指南（WCAG）和网页无障碍倡议（W3C）等标准，超过90%的网站仍未满足必要的无障碍要求。针对这一问题，本文提出了一种新方法，通过实时修改文档对象模型（DOM）来自动修正网页无障碍错误。利用无障碍错误信息、大型语言模型（LLMs）和提示工程技术，我们在新基准ACCESS上实现了超过51%的无障碍违规错误减少。我们的工作为包容性网页内容的方向提供了有价值的方法，并为未来研究探索自动化网页无障碍的先进方法提供了方向。

🔬 方法详解

问题定义：本文旨在解决网页无障碍性错误的自动修正问题。现有方法多集中于发现错误，但缺乏有效的修正机制，导致大量网站仍未满足无障碍标准。

核心思路：论文的核心思路是通过实时修改文档对象模型（DOM）来自动修正无障碍错误，利用大型语言模型（LLMs）和提示工程技术，提升修正的准确性和效率。

技术框架：整体架构包括三个主要模块：错误检测模块、修正生成模块和实时DOM更新模块。首先检测网页中的无障碍错误，然后生成修正建议，最后实时更新DOM以应用修正。

关键创新：最重要的技术创新点在于结合大型语言模型与提示工程，形成了一种新的自动修正机制，与传统的手动修正方法相比，显著提高了修正效率和准确性。

关键设计：在技术细节上，采用了特定的提示设计以引导大型语言模型生成有效的修正建议，并在损失函数中考虑了无障碍性标准的多维度评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ACCESS方法后，网页无障碍违规错误减少超过51%。这一显著提升相较于传统方法具有明显优势，展示了该方法在自动化网页无障碍修正中的有效性。

🎯 应用场景

该研究的潜在应用领域包括网站开发、在线教育平台和电子商务网站等，能够帮助这些平台提升无障碍性，确保所有用户，尤其是残障人士，能够平等访问内容。未来，该方法还可扩展到其他类型的数字内容和应用程序中，推动更广泛的数字包容性。

📄 摘要（原文）

With the increasing need for inclusive and user-friendly technology, web accessibility is crucial to ensuring equal access to online content for individuals with disabilities, including visual, auditory, cognitive, or motor impairments. Despite the existence of accessibility guidelines and standards such as Web Content Accessibility Guidelines (WCAG) and the Web Accessibility Initiative (W3C), over 90% of websites still fail to meet the necessary accessibility requirements. For web users with disabilities, there exists a need for a tool to automatically fix web page accessibility errors. While research has demonstrated methods to find and target accessibility errors, no research has focused on effectively correcting such violations. This paper presents a novel approach to correcting accessibility violations on the web by modifying the document object model (DOM) in real time with foundation models. Leveraging accessibility error information, large language models (LLMs), and prompt engineering techniques, we achieved greater than a 51% reduction in accessibility violation errors after corrections on our novel benchmark: ACCESS. Our work demonstrates a valuable approach toward the direction of inclusive web content, and provides directions for future research to explore advanced methods to automate web accessibility.