VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval
作者: Cristian-Gabriel Florea, Stelian Spînu
分类: cs.CV, cs.AI
发布日期: 2026-07-02
备注: 8 pages, 4 figures. Project repository available at: github.com
💡 一句话要点
提出VisionAId以解决视觉障碍者日常生活中的物体识别问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉障碍 实时物体识别 深度学习 多模态反馈 增强现实 智能手机应用 用户自主性 少量样本学习
📋 核心要点
- 现有的辅助应用在物体识别上存在局限性，通常依赖云服务，无法满足视觉障碍者的实时需求。
- VisionAId通过将深度学习模型集成到智能手机中，提供实时的物体识别和导航功能，增强用户的自主性。
- 在实验中，VisionAId的深度延迟显著降低，钞票检测器的准确率达到0.986，展示了其在实际应用中的有效性。
📝 摘要（中文）
全球有超过2.85亿人生活在视觉障碍中，他们在日常生活中面临诸如避开障碍、定位个人物品、识别熟悉面孔和处理现金等持续性挑战。现有的辅助应用通常仅限于识别预定义类别，严重依赖云连接或需要专用硬件。本文提出了VisionAId，这是一款将普通智能手机转变为实时视觉助手的Android应用。该系统集成了六个在设备上运行的深度学习模型，完全通过ONNX Runtime运行，并可选用云端大语言模型（Google Gemini Flash）用于场景描述和自动物体标记。其独特贡献在于为个人物体提供的少量样本管道：用户从多个角度拍摄物体，系统随后在环境中定位该特定实例，并通过增强现实标记、空间音频和距离比例触觉引导用户。所有反馈均为多模态形式（罗马尼亚语语音合成、语音命令、震动）。在参考设备（Samsung Galaxy S21 Ultra）上，INT8量化将深度延迟从约1200毫秒减少至约491毫秒，定制的钞票检测器达到mAP@50为0.986，且在3米内的度量深度误差校准低于1厘米。
🔬 方法详解
问题定义：本文旨在解决视觉障碍者在日常生活中面临的物体识别和导航问题。现有方法通常依赖于云计算，导致延迟和不便，无法满足用户的实时需求。
核心思路：VisionAId的核心思路是将深度学习模型直接集成到智能手机中，实现离线处理，从而提供实时的物体识别和导航功能，增强用户的自主性和生活质量。
技术框架：该系统的整体架构包括六个深度学习模型，分别用于单目深度估计、实例分割、视觉和面部嵌入、面部检测以及定制的钞票检测器。所有模型通过ONNX Runtime在设备上运行，用户还可以选择使用云端大语言模型进行场景描述。
关键创新：VisionAId的关键创新在于其少量样本管道，用户只需拍摄物体的多个角度，系统便能在环境中准确定位该物体，并通过多种反馈方式引导用户。与现有方法相比，该系统在实时性和用户体验上具有显著优势。
关键设计：在技术细节上，系统采用INT8量化技术，显著降低了深度延迟，并通过精确的模型训练和优化，确保了钞票检测器的高准确率（mAP@50为0.986），同时在深度估计上实现了低于1厘米的误差。
🖼️ 关键图片
📊 实验亮点
在实验中，VisionAId通过INT8量化技术将深度延迟从约1200毫秒降低至491毫秒，显著提升了实时性。同时，定制的钞票检测器在mAP@50上达到了0.986的高准确率，证明了该系统在物体识别方面的有效性和可靠性。
🎯 应用场景
VisionAId的潜在应用领域包括视觉障碍者的日常生活辅助、智能家居控制和公共场所导航等。通过提供实时的物体识别和导航功能，该系统能够显著提升视觉障碍者的生活质量和自主性，具有广泛的社会价值和实际影响。未来，该技术还可以扩展到其他领域，如老年人辅助和智能城市建设。
📄 摘要（原文）
Over 285 million people worldwide live with a visual impairment, for whom everyday tasks such as avoiding obstacles, locating personal belongings, recognizing familiar faces, or handling cash remain persistent obstacles to personal autonomy. Existing assistive applications are typically limited to recognizing predefined categories, depend heavily on cloud connectivity, or require dedicated hardware. We present VisionAId, an Android application that turns a commodity smartphone into a real-time visual assistant. The system integrates six on-device deep learning models (metric monocular depth estimation, instance segmentation, visual and facial embeddings, face detection, and a custom banknote detector) running entirely through ONNX Runtime, with an optional cloud large language model (Google Gemini Flash) used only for narrative scene description and automatic object labeling. A distinctive contribution is a few-shot pipeline for personal objects: the user photographs an object from several angles, and the system later locates that specific instance in the environment, guiding the user toward it with augmented-reality markers, spatial audio, and distance-proportional haptics. All feedback is multimodal (Romanian speech synthesis, voice commands, vibration). On a reference device (Samsung Galaxy S21 Ultra), INT8 quantization reduces depth latency from ~1200 ms to ~491 ms, the custom banknote detector reaches an mAP@50 of 0.986, and metric depth is calibrated to below 1 cm of error within 3 m.