UniffordInteractor: Reasoning the Unified Affordance for Human and Multi-Object Interaction

📄 arXiv: 2610.39745v1 📥 PDF

作者: Chen Su, Xingqun Qi, Xurui Hu, Bingkun Yang, Muyi Sun, Man Zhang, Zhenan Sun

分类: cs.GR

发布日期: 2026-10-29

备注: 13 pages, 11 figures. Published in ACM Transactions on Graphics (Proceedings of SIGGRAPH Asia 2026)

DOI: 10.1145/3842530

💡 一句话要点

提出UniffordInteractor以解决复杂多物体交互问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 多物体交互 统一可供性 推理框架 增强现实 虚拟现实 机器人技术

📋 核心要点

  1. 现有的人机交互方法在处理复杂多物体交互场景时存在局限，主要集中于单一物体的接触信息，未能充分考虑物体间的相互作用。
  2. 本文提出的UniffordInteractor框架通过统一可供性推理和分层交互生成，解决了复杂多物体交互建模的问题，提升了交互的真实性和长远性。
  3. 实验结果显示，UniffordInteractor在多物体交互生成任务中显著优于现有最先进的方法，展示了其在实际应用中的潜力。

📝 摘要（中文）

人机交互（HOI）的动态推理在具身人工智能和沉浸式AR/VR中取得了显著进展。现有方法主要关注人类与单一或固定物体的交互，未能有效处理复杂的多物体交互场景。此外，之前的方法过于关注人-物关系中的接触信息，而忽视了物体间接触情况的重要性。为了解决这些问题，本文提出了UniffordInteractor，一个基于统一可供性进行人类与多物体交互建模的推理-交互框架。推理阶段采用统一可供性推理器（UAR），利用微调的3D多模态大语言模型进行统一的物体中心可供性预测；交互阶段则提出了分层交互生成器（HIG），将交互生成视为基于获得的统一可供性进行的分层自回归预测。大量实验表明，UniffordInteractor在生成复杂人机多物体交互方面超越了现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决复杂多物体交互场景中人机交互建模的不足，现有方法主要关注单一物体的交互，未能有效处理物体间的相互作用和接触情况。

核心思路：提出UniffordInteractor框架，通过统一可供性推理和分层交互生成，增强人机与多物体的交互建模能力，提升交互的真实性与长远性。

技术框架：该框架分为两个主要阶段：推理阶段和交互阶段。在推理阶段，使用统一可供性推理器（UAR）进行物体中心可供性预测；在交互阶段，利用分层交互生成器（HIG）进行基于获得的可供性进行的分层自回归预测。

关键创新：最重要的创新在于引入统一可供性推理器（UAR），结合3D多模态大语言模型，突破了传统方法对单一物体交互的局限，能够更好地处理复杂的多物体交互场景。

关键设计：在模型设计上，UAR通过微调的3D多模态大语言模型进行可供性预测，HIG则通过分层结构实现交互生成，确保了生成过程的连贯性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniffordInteractor在复杂人机多物体交互生成任务中，相较于现有最先进的方法，性能提升显著，具体表现为生成准确性提高了XX%，交互自然性提升了YY%。

🎯 应用场景

UniffordInteractor在虚拟现实、增强现实和机器人领域具有广泛的应用潜力。它能够提升人机交互的自然性和智能化水平，适用于游戏、训练模拟、社交机器人等场景，推动这些领域的技术进步和用户体验提升。

📄 摘要（原文）

Deriving plausible and dynamic Human Object Interaction (HOI) has gained tremendous progress in Embodied AI and Immersive AR/VR. While existing HOI methods have effectively explored human interaction with individual or fixed objects, they still show limitations in complex multi-object interaction scenes. Meanwhile, previous approaches focus more on the contact information held by human-object relation, overlooking the significance of the contact situation of various entities (i.e., object-object). To address these limitations, we propose UniffordInteractor, a Reasoning-then-Interacting framework that leverages unified affordance for realistic and long-horizon human and multi-object interaction modeling. At the reasoning stage, we devise a Unified Affordance Reasoner (UAR) that employs a fine-tuned 3D Multimodal Large Language Model for unified object-centric affordance prediction. At the interacting stage, we propose Hierarchical Interaction Generator (HIG), which formulates the interaction generation as a hierarchical (e.g., root to body to hand to objects) autoregressive prediction, conditioned on the obtained unified affordance. Extensive experiments demonstrate that UniffordInteractor surpasses SOTA counterparts in human and multi-object interaction generation.