VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval

📄 arXiv: 2607.02371 📥 PDF

作者: Cristian-Gabriel Florea, Stelian Spînu

分类: cs.CV, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出VisionAId以解决视障人士日常生活中的障碍问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉障碍 深度学习 多模态助手 个性化物体检索 实时视觉辅助 增强现实 移动应用

📋 核心要点

  1. 现有辅助技术在视觉障碍人士的日常生活中存在局限，无法有效识别多样化的物体和环境。
  2. VisionAId通过将深度学习模型集成到智能手机中，实现了离线实时物体识别和个性化物体检索。
  3. 在Samsung Galaxy S21 Ultra上，INT8量化将深度延迟从约1200毫秒降低至491毫秒，定制钞票检测器的mAP@50达到0.986。

📝 摘要（中文）

全球有超过2.85亿人生活在视觉障碍中，他们在日常生活中面临诸如避开障碍物、定位个人物品、识别熟悉面孔和处理现金等持续性挑战。现有的辅助应用通常局限于识别预定义类别，依赖云连接或需要专用硬件。本文提出的VisionAId是一款Android应用，将普通智能手机转变为实时视觉助手。该系统集成了六个在设备上运行的深度学习模型，完全通过ONNX Runtime运行，并可选用云端大语言模型进行场景描述和自动物体标记。其创新之处在于少量样本的个人物体检索管道，用户拍摄物体的多个角度，系统随后在环境中定位该特定实例，并通过增强现实标记、空间音频和距离比例触觉引导用户。所有反馈均为多模态形式。

🔬 方法详解

问题定义：本论文旨在解决视觉障碍人士在日常生活中面临的物体识别和定位问题。现有方法通常依赖云计算，无法在无网络环境下有效工作，且对用户的个性化需求支持不足。

核心思路：VisionAId通过将多个深度学习模型集成到普通智能手机中，提供离线的实时视觉辅助功能。用户可以通过拍摄物体的多个角度来训练系统，从而实现个性化的物体检索和定位。

技术框架：系统架构包括六个主要模块：单目深度估计、实例分割、视觉和面部嵌入、面部检测、定制钞票检测器，以及可选的云端大语言模型。所有模型均通过ONNX Runtime在设备上运行，确保实时性和离线功能。

关键创新：本研究的核心创新在于实现了少量样本的个性化物体检索管道，使得用户能够通过简单的拍照方式训练系统，显著提高了物体识别的灵活性和准确性。

关键设计：在模型设计上，采用INT8量化技术以降低延迟，并通过精确的深度校准确保在3米范围内的误差低于1厘米。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VisionAId在Samsung Galaxy S21 Ultra上实现了显著的性能提升，INT8量化将深度延迟从约1200毫秒降低至491毫秒，定制钞票检测器的mAP@50达到了0.986，显示出系统在实时性和准确性上的优越表现。

🎯 应用场景

VisionAId的潜在应用领域包括智能手机辅助技术、无障碍生活支持和个性化物体识别等。其实际价值在于提升视觉障碍人士的生活独立性，帮助他们更好地完成日常任务。未来，该技术可能扩展到其他领域，如智能家居和增强现实应用，进一步改善用户体验。

📄 摘要（原文）

Over 285 million people worldwide live with a visual impairment, for whom everyday tasks such as avoiding obstacles, locating personal belongings, recognizing familiar faces, or handling cash remain persistent obstacles to personal autonomy. Existing assistive applications are typically limited to recognizing predefined categories, depend heavily on cloud connectivity, or require dedicated hardware. We present VisionAId, an Android application that turns a commodity smartphone into a real-time visual assistant. The system integrates six on-device deep learning models (metric monocular depth estimation, instance segmentation, visual and facial embeddings, face detection, and a custom banknote detector) running entirely through ONNX Runtime, with an optional cloud large language model (Google Gemini Flash) used only for narrative scene description and automatic object labeling. A distinctive contribution is a few-shot pipeline for personal objects: the user photographs an object from several angles, and the system later locates that specific instance in the environment, guiding the user toward it with augmented-reality markers, spatial audio, and distance-proportional haptics. All feedback is multimodal (Romanian speech synthesis, voice commands, vibration). On a reference device (Samsung Galaxy S21 Ultra), INT8 quantization reduces depth latency from ~1200 ms to ~491 ms, the custom banknote detector reaches an mAP@50 of 0.986, and metric depth is calibrated to below 1 cm of error within 3 m.