AFFORDANCE20Q: Evaluating Affordance Reasoning from Physical Properties
作者: Yifan Jiang, Meige Yang, Zitong Li, Jay Pujara
分类: cs.AI
发布日期: 2026-06-12
🔗 代码/项目: GITHUB
💡 一句话要点
提出Affordance20Q以解决现有物体可供性推理评估不足的问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可供性推理 大型语言模型 知识库 规则归纳 物理属性
📋 核心要点
- 现有的可供性推理基准在评估中暴露物体身份，使得模型依赖于记忆而非推理，限制了评估的有效性。
- 本文提出Affordance20Q基准，通过20个问题游戏的形式，要求模型在不知物体身份的情况下推理其可供性。
- 实验结果显示，15个最先进的LLMs与人类表现相比存在约20分的差距，KARI方法提升了开源LLMs的性能最多15.2分。
📝 摘要（中文）
物体可供性推理是从物体的物理属性（如形状和材料）推断其动作可能性的过程，这对人类的物理理解至关重要，并且对大型语言模型（LLMs）越来越重要。然而，现有的可供性基准在评估设置中大多暴露了物体的明确身份，使得模型依赖于记忆的物体-可供性映射，而非基于物理属性进行推理。为了解决这一问题，本文提出了Affordance20Q，一个新颖的可供性推理基准，采用20个问题游戏的形式，不暴露物体身份。该基准包含1009个游戏，涵盖454个物体和59种可供性，所有数据均经过人工筛选和注释。通过对15个最先进的LLMs进行全面实验，发现与人类表现相比存在约20分的显著差距。进一步的KL信息增益分析表明，模型在游戏进行过程中未能提出具有区分性的提问。为缩小这一差距，本文开发了基于知识库（KB）的规则归纳（KARI）管道，该管道生成基于知识库证据的可供性规则。KARI使开源LLMs的性能提升了最多15.2分，但知识库的覆盖范围限制了进一步的提升。所有代码和数据已在https://github.com/1171-jpg/Affordance20Q.git上发布。
🔬 方法详解
问题定义：本文旨在解决现有可供性推理评估中物体身份暴露的问题，导致模型依赖记忆而非物理属性进行推理。
核心思路：通过设计一个20个问题的游戏，模型在不知物体身份的情况下，通过询问物理属性来推理物体的可供性，从而促进真实的推理能力。
技术框架：整体架构包括游戏设置、模型提问机制和基于知识库的规则生成模块。模型通过提问获取信息，并根据回答推理可供性。
关键创新：引入了KARI方法，通过知识库证据生成可供性规则，显著提升了模型的推理能力，与传统方法相比，KARI更注重基于证据的推理。
关键设计：在KARI中，设计了特定的参数设置和损失函数，以优化模型在推理过程中的表现，同时确保生成的规则具有较高的准确性和适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，15个最先进的LLMs在Affordance20Q基准上的表现与人类相比存在约20分的显著差距。通过KARI方法，开源LLMs的性能提升了最多15.2分，展示了基于知识库的推理方法在可供性推理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能助手和人机交互等场景，能够帮助机器更好地理解物体的使用方式，从而提升其自主决策能力和交互体验。未来，该方法可能推动更智能的系统开发，使其在复杂环境中更有效地进行物体操作和任务执行。
📄 摘要（原文）
Affordance reasoning, the inference of an object's action possibilities from its physical properties (e.g., shape and material), is fundamental to human physical understanding and increasingly critical for Large Language Models (LLMs). However, existing affordance benchmarks largely expose explicit object identities in the evaluation setup, allowing models to rely on memorized object-affordance mappings rather than reasoning over physical properties. To address this gap, we introduce Affordance20Q, a novel affordance reasoning benchmark formulated as a 20-Questions game without exposing the object's identity. In each game, the model identifies a hidden object's affordance from a candidate set by asking yes/no questions about its physical properties. Affordance20Q comprises 1,009 games over 454 objects and 59 affordances, all manually filtered, refined, and annotated. We conduct comprehensive experiments with 15 state-of-the-art LLMs and find a substantial gap (~20 points) compared to human performance. A KL-based information-gain (IG) analysis further shows that models fail to ask discriminating questions as the game progresses. To close the gap, we develop KB-Anchored Rule Induction (KARI), a pipeline based on LLMs that generates affordance rules grounded in evidence from knowledge bases (KBs). KARI improves open-source LLMs by up to 15.2 points, while the limited coverage of KBs hinders further gains. We release all our code and data at https://github.com/1171-jpg/Affordance20Q.git