VIALM: A Survey and Benchmark of Visually Impaired Assistance with Large Models

📄 arXiv: 2402.01735v2 📥 PDF

作者: Yi Zhao, Yilin Zhang, Rong Xiang, Jing Li, Hillming Li

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-01-29 (更新: 2024-02-10)

备注: under review

💡 一句话要点

提出VIALM以解决视障人士日常活动辅助问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视障人士辅助 大型模型 计算机视觉 自然语言处理 多模态任务 逐步指导 环境理解

📋 核心要点

  1. 现有方法在视障人士辅助任务中，输出的环境基础指导能力不足，且缺乏细致的步骤说明。
  2. 论文提出VIALM任务，通过图像和语言请求生成逐步指导，旨在提升视障人士的日常活动能力。
  3. 实验结果显示，GPT-4在VIA任务中的环境扎实性仅为25.7%，细致指导能力为32.1%，表明仍有改进空间。

📝 摘要（中文）

视障人士辅助（VIA）旨在自动帮助视障人士处理日常活动。VIA的进展主要依赖于计算机视觉（CV）和自然语言处理（NLP）的发展，尤其是大型模型（LMs）的应用。本文提出了VIALM任务，旨在通过给定的图像和视障用户的语言请求，输出逐步指导以帮助用户完成请求。研究包括对近期LM研究的综述及基准实验，结果表明，尽管LMs在VIA中具有潜在益处，但其输出在环境基础上不够扎实，且缺乏细致的指导。

🔬 方法详解

问题定义：本文要解决的问题是如何利用大型模型为视障人士提供有效的日常活动辅助。现有方法在环境基础指导和细致步骤说明上存在明显不足，导致视障用户难以顺利完成任务。

核心思路：论文的核心思路是通过结合计算机视觉和自然语言处理，利用大型模型生成逐步指导。设计此方法的原因在于大型模型在多模态任务中的潜力，能够更好地理解和处理图像与语言的结合。

技术框架：整体架构包括图像输入模块、语言请求解析模块和指导生成模块。首先，图像输入模块提取环境信息，随后语言请求解析模块理解用户需求，最后指导生成模块输出逐步指导。

关键创新：最重要的技术创新在于将大型模型应用于视障人士辅助任务，探索其在多模态环境下的能力。这与现有方法的本质区别在于，现有方法往往缺乏对环境的深度理解。

关键设计：关键设计包括模型参数的优化、损失函数的选择以及网络结构的调整，以确保生成的指导既准确又易于理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在VIA任务中的环境扎实性仅为25.7%，而细致指导能力为32.1%。这些数据表明，尽管大型模型在VIA中具有潜力，但仍需进一步优化以提升其实际应用效果。

🎯 应用场景

该研究的潜在应用领域包括智能家居、辅助机器人和移动应用等，能够为视障人士提供更为便捷的生活辅助。未来，该技术有望进一步提升视障人士的独立性和生活质量，推动社会对无障碍环境的重视。

📄 摘要（原文）

Visually Impaired Assistance (VIA) aims to automatically help the visually impaired (VI) handle daily activities. The advancement of VIA primarily depends on developments in Computer Vision (CV) and Natural Language Processing (NLP), both of which exhibit cutting-edge paradigms with large models (LMs). Furthermore, LMs have shown exceptional multimodal abilities to tackle challenging physically-grounded tasks such as embodied robots. To investigate the potential and limitations of state-of-the-art (SOTA) LMs' capabilities in VIA applications, we present an extensive study for the task of VIA with LMs (VIALM). In this task, given an image illustrating the physical environments and a linguistic request from a VI user, VIALM aims to output step-by-step guidance to assist the VI user in fulfilling the request grounded in the environment. The study consists of a survey reviewing recent LM research and benchmark experiments examining selected LMs' capabilities in VIA. The results indicate that while LMs can potentially benefit VIA, their output cannot be well environment-grounded (i.e., 25.7% GPT-4's responses) and lacks fine-grained guidance (i.e., 32.1% GPT-4's responses).