TEXT2AFFORD: Probing Object Affordance Prediction abilities of Language Models solely from Text
作者: Sayantan Adak, Daivik Agrawal, Animesh Mukherjee, Somak Aditya
分类: cs.CL
发布日期: 2024-02-20 (更新: 2025-09-26)
备注: Accepted at Conference on Computational Natural Language Learning 2024
DOI: 10.18653/v1/2024.conll-1.27
🔗 代码/项目: GITHUB
💡 一句话要点
提出Text2Afford以解决语言模型对物体可供性预测的不足问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 物体可供性 语言模型 视觉-语言模型 数据集构建 推理能力 少量样本微调 自然语言处理
📋 核心要点
- 现有的预训练语言模型在物体可供性推理方面表现不佳，缺乏一致性和直观性。
- 论文提出了Text2Afford数据集，通过标注自然语言句子来量化物体可供性知识。
- 实验结果表明，经过少量样本微调后，预训练模型在可供性知识上有显著提升。
📝 摘要（中文）
本研究探讨了预训练语言模型（LMs）和视觉-语言模型（VLMs）在物体可供性知识方面的表现。现有文献表明，预训练语言模型在推理和基础知识方面存在不一致和非直观的失败。为量化这种基础知识的影响，研究者们构建了一个新的综合数据集Text2Afford，涵盖15种可供性类别，并通过对自然语言句子的标注，揭示了预训练模型在处理不常见物体可供性时的推理能力有限。通过少量样本的微调，研究显示了预训练语言模型和视觉-语言模型在可供性知识上的提升。该研究为语言基础任务提供了新的数据集，并深入分析了语言模型的能力，推动了对物体可供性的理解。
🔬 方法详解
问题定义：本研究旨在解决预训练语言模型和视觉-语言模型在物体可供性预测中的不足，尤其是在推理和基础知识方面的缺陷。现有方法在处理不常见物体可供性时表现不佳，缺乏有效的量化手段。
核心思路：论文通过构建一个新的数据集Text2Afford，标注自然语言句子中的物体及其可供性，来量化和分析预训练模型的可供性知识。通过少量样本的微调，提升模型在这一领域的表现。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，研究者们收集并标注包含物体和可供性的句子，随后使用这些数据对预训练模型进行微调，最后评估其在可供性推理任务中的表现。
关键创新：最重要的创新点在于构建了一个新的、全面的物体可供性数据集Text2Afford，并通过自然语言句子的标注来实现量化分析。这一方法与现有的视觉和语言领域的数据集有本质区别。
关键设计：在模型训练中，采用了少量样本微调的策略，优化了损失函数以适应可供性预测任务，确保模型能够更好地理解和推理物体的可供性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过少量样本微调后，预训练语言模型和视觉-语言模型在物体可供性知识的理解上有显著提升，尤其是在处理不常见物体可供性时，推理能力得到了改善。
🎯 应用场景
该研究的潜在应用场景包括人机交互、智能助手和机器人导航等领域。通过提升语言模型对物体可供性的理解，能够增强智能系统在复杂环境中的决策能力，推动智能技术的实际应用和发展。
📄 摘要（原文）
We investigate the knowledge of object affordances in pre-trained language models (LMs) and pre-trained Vision-Language models (VLMs). A growing body of literature shows that PTLMs fail inconsistently and non-intuitively, demonstrating a lack of reasoning and grounding. To take a first step toward quantifying the effect of grounding (or lack thereof), we curate a novel and comprehensive dataset of object affordances -- Text2Afford, characterized by 15 affordance classes. Unlike affordance datasets collected in vision and language domains, we annotate in-the-wild sentences with objects and affordances. Experimental results reveal that PTLMs exhibit limited reasoning abilities when it comes to uncommon object affordances. We also observe that pre-trained VLMs do not necessarily capture object affordances effectively. Through few-shot fine-tuning, we demonstrate improvement in affordance knowledge in PTLMs and VLMs. Our research contributes a novel dataset for language grounding tasks, and presents insights into LM capabilities, advancing the understanding of object affordances. Codes and data are available at https://github.com/sayantan11995/Text2Afford