Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras
作者: Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo
分类: cs.CV, cs.LG, cs.RO
发布日期: 2026-07-30
期刊: IEEE Internet of Things Journal, vol. 12, no. 21, pp. 44492-44501, 2025
DOI: 10.1109/JSEN.2025.3574506
💡 一句话要点
提出深度信息融合方法以优化可穿戴机器人中的可供性分割
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可供性分割 深度信息融合 硬件感知 神经架构搜索 便携式设备 实时性能 多模态学习
📋 核心要点
- 现有方法在处理可供性分割时，未能充分利用深度信息，导致在复杂场景中的表现不佳。
- 本文提出的解决方案通过硬件感知神经架构搜索和深度信息融合，优化了小型深度网络的性能。
- 实验结果表明，所提方法在多个真实数据集上优于现有方案，能够实现实时性能并满足能耗要求。
📝 摘要（中文）
尽管深度传感器在可穿戴机器人中有潜力补充RGB数据以进行可供性分割，但其应用仍未得到充分探索。本文提出了两种方法：一种是重新构建的硬件感知神经架构搜索，设计了新的搜索空间以将深度信息整合到小型深度网络中；另一种是专门的微调方法，包含预处理层以将深度信息与RGB数据合并，使其与传统架构兼容。这些方法旨在生成能够利用现代便携硬件加速器的解决方案，并克服现有小型方法在关键场景中的局限性。通过在真实数据集上的广泛实验，验证了所提方法的有效性，并在大多数情况下生成了平衡泛化性能和硬件要求的Pareto最优解。
🔬 方法详解
问题定义：本文旨在解决可穿戴机器人中的可供性分割问题，现有方法在深度信息利用上存在不足，导致在复杂环境下的性能受限。
核心思路：论文提出通过硬件感知神经架构搜索和深度信息融合的方式，优化小型深度网络的设计，以适应便携式硬件的限制。
技术框架：整体架构包括两个主要模块：一是硬件感知神经架构搜索，二是深度信息与RGB数据的融合预处理层，确保网络能够有效利用多模态信息。
关键创新：最重要的技术创新在于设计了新的搜索空间，使得深度信息能够有效集成到小型网络中，从而克服传统方法的局限性。
关键设计：在参数设置上，采用了适应性损失函数和优化的网络结构，以确保在资源受限的环境中仍能实现高效的可供性分割。具体细节包括对网络层数和节点数的优化配置。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在多个真实数据集上均优于现有方案，尤其在泛化性能和能耗方面表现突出。具体而言，系统在能耗预算内实现了实时性能，适用于智能手机等标准电池供电的设备。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和增强现实等场景，能够提升机器人对环境的理解和交互能力。未来，随着硬件技术的进步，该方法有望在更多实时应用中得到广泛应用，推动可穿戴设备的智能化进程。
📄 摘要（原文）
While depth sensors have the potential to complement RGB data for affordance segmentation in wearable robots, their usage seems to remain underexplored. The paper proposes two approaches: a reformulated version of hardware-aware neural architecture search, endowed with a newly designed search space to integrate depth (D) information into small-sized deep networks, and a dedicated fine-tuning approach, including a preprocessing layer to merge depth information with RGB data and make it compatible with conventional architectures. In both cases, those methods aim to generate solutions that benefit from modern (portable) hardware accelerators and overcome existing tiny-like approaches, which often fail to tackle critical scenarios due to the severe constraints set by the supporting hardware. Extensive experiments on a pair of real-world datasets demonstrate the effectiveness of the proposed method as compared with existing solutions. The approach presented in the paper generates, in most cases, solutions that identify the Pareto optimal front to balance generalization performance and hardware requirements. The paper also describes the supporting prototype, including a Jetson Nano board and a RealSense RGB-D camera. When considering the energy profile of the device, the overall system can attain real-time performances within an energy budget that is compatible with standard batteries, such as those used in smartphones.