Talk2Sensors: 3D Visual Grounding in Autonomous Driving via Sensor-Adaptive Physical Cue Matching

📄 arXiv: 2608.04568v1 📥 PDF

作者: Runwei Guan, Di Tian, Ningwei Ouyang, Ruixiao Zhang, Shaofeng Liang, Haocheng Zhao, Lianqing Zheng, Xiaokai Bai, Guotao Wang, Daizong Liu, Henghui Ding, Hui Xiong

分类: cs.CV

发布日期: 2026-08-05

备注: 14 pages, 12 figures

💡 一句话要点

提出Talk2Sensors以解决户外3D视觉定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 多传感器融合 语言引导 自动驾驶 Transformer框架

📋 核心要点

  1. 现有的3D视觉定位方法主要集中在室内场景，户外场景的研究不足，且多依赖单目图像，未能充分利用异构传感器的优势。
  2. 本文提出了Talk2Sensors数据集，结合相机、激光雷达和4D雷达，设计了TSFormer框架，通过语言引导实现3D视觉定位。
  3. 实验结果显示，TSFormer在Talk2Sensors基准上提升了8.05 mAP，并在Mono3DRefer基准上达到了53.05%的Acc@0.5，表现优异。

📝 摘要（中文）

作为具身智能的关键能力，3D视觉定位（3DVG）主要在室内场景中研究，现有的户外扩展大多依赖单目图像，无法充分利用异构传感器捕获的互补物理特性。为此，本文提出了Talk2Sensors，这是第一个基于相机、激光雷达和4D雷达的多传感器3D视觉定位数据集，包含8,682条语言指令和20,558个被指对象。我们还提出了TSFormer，一个基于Transformer的统一框架，采用粗到细的属性感知融合策略，实现语言引导的3D视觉定位。实验表明，TSFormer在多个基准上实现了最先进的性能，提升了8.05 mAP，并在单目Mono3DRefer基准上达到了53.05%的Acc@0.5。

🔬 方法详解

问题定义：本文旨在解决现有3D视觉定位方法在户外场景中对异构传感器信息利用不足的问题，现有方法多依赖单一传感器，无法充分捕获物理特性。

核心思路：提出Talk2Sensors数据集，结合多种传感器信息，通过TSFormer框架实现语言引导的3D视觉定位，动态调整不同传感器的特征融合。

技术框架：TSFormer框架包括两个主要模块：语言引导的属性采样器和稀疏保留的模态仲裁器，前者进行粗略特征检索，后者进行精细化的模态仲裁和文本引导的空间位置确定。

关键创新：TSFormer的动态路由机制允许根据语义需求调整外观、几何和运动线索的融合，避免了密集模态对稀疏但重要的传感器信号的淹没。

关键设计：在设计中，采用了文本条件的特征检索策略，设置了传感器采样权重，并通过损失函数优化模态仲裁过程，以确保高效的特征融合和准确的空间定位。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TSFormer在Talk2Sensors基准上提升了8.05 mAP，显示出显著的性能优势。此外，在Mono3DRefer基准上，TSFormer达到了53.05%的Acc@0.5，展现了良好的迁移能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过有效整合多种传感器的信息，能够提升系统在复杂环境中的感知能力和决策效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As a key capability for embodied intelligence, 3D visual grounding (3DVG) has been predominantly studied in indoor scenes with RGB-D or point-cloud inputs, while existing outdoor extensions largely rely on monocular images alone. Both settings fall short of real-world outdoor perception, where heterogeneous sensors capture complementary yet distinct physical properties, such as visual texture, 3D geometry, and object kinematics, that are indispensable for flexible and robust query-adaptive grounding but remain under-exploited. To bridge this gap, we introduce Talk2Sensors, the first multi-sensor 3D visual grounding dataset built upon camera, LiDAR, and 4D radar. It contains 8,682 language instructions and 20,558 referred objects, with diverse prompts explicitly aligned with sensor-specific physical cues. Furthermore, we propose TSFormer, a unified Transformer-based framework for language-guided 3D visual grounding in autonomous driving. TSFormer adopts a coarse-to-fine property-aware fusion strategy: the Language-Routed Property Sampler first performs coarse text-conditioned feature retrieval by modulating sensor sampling weights with query-level linguistic cues, while the subsequent Sparse-Preserving Modality Arbiter module conducts fine-grained modality arbitration and text-guided refinement to determine the precise referred spatial location. This design enables dynamic routing of appearance, geometry, and motion cues according to the semantic requirements of each prompt, preventing dense modalities from overwhelming sparse but critical sensor signals. Extensive experiments demonstrate that TSFormer achieves state-of-the-art performance across multiple benchmarks: it improves over the strongest baseline by 8.05 mAP on Talk2Sensors, and transfers to the monocular Mono3DRefer benchmark with 53.05\% Acc@0.5.