ThinkAfford: Affordance-Centric Reasoning for Fine-Grained 3D Grounding in Cluttered Scenes
作者: Xinrui Lin, Sha Zhang, Shumin Wang, Zenghuan Zhu, Jiajun Deng, Yanyong Zhang
分类: cs.CV
发布日期: 2026-08-11
备注: 8 pages, 6 figures
💡 一句话要点
提出ThinkAfford以解决复杂场景中的3D功能区域定位问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D定位 功能推理 自然语言处理 视觉提示 机器人操作 增强现实 智能家居
📋 核心要点
- 现有方法在复杂场景中进行3D功能定位时，容易遗漏目标区域或产生不合适的粒度，且语言指令可能导致混淆。
- 本文提出的ThinkAfford通过解耦功能提案生成与指令推理，使用可学习的功能提示和多层视觉特征来提高定位精度。
- 在SceneFun3D验证集上，ThinkAfford的AP50和AP25分别达到了10.69%和25.46%，显著优于现有基线方法。
📝 摘要（中文）
任务驱动的3D功能定位旨在根据自然语言指令在复杂的3D场景中定位可执行动作的功能区域。现有方法直接预测3D掩膜或通过选择和融合中间2D/3D区域构建掩膜，但存在两个相互交织的失败模式：预测或选择的区域可能遗漏目标交互区域或粒度不合适，而语言定位可能在关系指令下混淆视觉上相似的选项。为此，本文提出了ThinkAfford，解耦高召回率的功能提案生成与指令驱动的推理。具体而言，功能提案生成模块首先使用可学习的功能提示和多层视觉特征预测交互条件热图，提取可变数量的细粒度提案。视觉提示的功能推理模块则利用完整指令对标记的提案覆盖进行推理，返回结构化的“思考-再回答”响应。此外，组相对策略优化通过提升的3D重叠的提案级奖励来对齐VPAR选择与最终的3D定位。在SceneFun3D验证集上，ThinkAfford在官方评估器下实现了10.69%的AP50和25.46%的AP25，超越了可比的3D开放词汇和基于视觉语言模型的2D到3D基线。
🔬 方法详解
问题定义：本文旨在解决在复杂3D场景中基于自然语言指令进行功能区域定位的挑战。现有方法存在预测区域遗漏和语言混淆的问题，导致定位精度不足。
核心思路：ThinkAfford的核心思路是将高召回率的功能提案生成与指令驱动的推理过程解耦，利用可学习的功能提示和多层次的视觉特征来生成细粒度的交互提案。
技术框架：整体架构包括功能提案生成模块和视觉提示功能推理模块。前者生成交互条件热图，后者在完整指令的基础上对提案进行推理，最终返回结构化的响应。
关键创新：最重要的创新在于引入了可学习的功能提示和“思考-再回答”的推理机制，使得功能提案生成与语言指令的结合更加紧密，显著提高了定位的准确性。
关键设计：在设计中，功能提案生成模块采用了多层视觉特征，并通过组相对策略优化对提案级奖励进行调整，以确保最终的3D定位与提案选择的一致性。
🖼️ 关键图片
📊 实验亮点
ThinkAfford在SceneFun3D验证集上取得了显著的实验结果，AP50达到了10.69%，AP25为25.46%，在与现有的3D开放词汇和视觉语言模型基线的比较中，表现出明显的性能提升，尤其是在提案生成和选择的准确性上。
🎯 应用场景
该研究在机器人操作、增强现实和智能家居等领域具有广泛的应用潜力。通过精确的3D功能定位，系统能够更好地理解和执行用户的自然语言指令，从而提升人机交互的效率和体验。
📄 摘要（原文）
Task-driven 3D affordance grounding aims to localize the functional region in a cluttered 3D scene that enables an action specified by a natural-language instruction. Existing methods either predict 3D masks directly or construct them by selecting and fusing intermediate 2D/3D regions. However, they remain vulnerable to two intertwined failure modes: the predicted or selected regions may miss the target interaction area or have unsuitable granularity, while language grounding may confuse visually similar alternatives under relational instructions. To this end, we introduce ThinkAfford, which decouples high-recall affordance proposal generation from instruction-grounded reasoning. Specifically, the Affordance Proposal Generation module first uses learnable affordance prompts and multi-level visual features to predict interaction-conditioned heatmaps, extracting a variable number of fine-grained proposals without parsed object or part names as segmentation prompts. Visual-Prompted Affordance Reasoning then reasons over labeled proposal overlays using the full instruction, returning identifiers in a structured "think-then-answer" response. Moreover, Group Relative Policy Optimization uses proposal-level rewards from lifted 3D overlap to align VPAR selection with final 3D grounding. On the SceneFun3D validation split, ThinkAfford achieves 10.69% AP50 and 25.46% AP25 under the official evaluator, outperforming comparable 3D open-vocabulary and vision-language-model-based 2D-to-3D baselines. Module-level diagnostics further show that APG attains 77.5% recall at 25% intersection-over-union, while GRPO-trained VPAR achieves 72.1% selection accuracy on APG-covered queries, compared with 63.4% under supervised fine-tuning.