Efficient Human-Contact Representation for Human-Scene Interaction

📄 arXiv: 2608.09388v1 📥 PDF

作者: Nghia Vu, Tuong Do, Binh X. Nguyen, Erman Tjiputra, Anh Nguyen

分类: cs.CV

发布日期: 2026-08-10

备注: Accepted in ECCV 2026 Workshops

💡 一句话要点

提出稀疏接触表示以解决人类场景交互效率问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人类场景交互 稀疏表示 深度学习 计算效率 虚拟现实 机器人技术 数据处理

📋 核心要点

  1. 现有方法在高维输入中难以高效表示人类与环境的接触，导致冗余数据和计算负担。
  2. 提出稀疏接触掩码，选择关键接触信息，并用稀疏算子替代传统密集算子以提高计算效率。
  3. 在三个公共基准数据集上进行实验，结果显示重建精度优于现有模型，计算速度提升至少12倍。

📝 摘要（中文）

人类场景交互是一个活跃的研究领域，广泛应用于虚拟现实、游戏、机器人和监控等多个行业。尽管网络架构的进步提升了结果和推理速度，但人类与环境之间接触的高效表示仍然是一个挑战。本文提出了一种新的稀疏接触表示，通过选择关键接触信息显著减少高维输入中的冗余数据。此外，基于这种高效表示，提出了一系列稀疏算子替代传统的密集算子，从而加快计算速度。实验结果表明，该方法在重建精度上超越了现有最先进模型，并在计算速度上实现了至少12倍的提升。

🔬 方法详解

问题定义：本文旨在解决人类与环境接触的高效表示问题。现有方法在处理高维输入时存在冗余数据，影响了模型的推理速度和精度。

核心思路：通过引入稀疏接触掩码，选择关键的接触信息，显著减少冗余数据，并设计稀疏算子替代传统的密集算子，以提高计算效率。

技术框架：整体架构包括稀疏接触表示模块和稀疏算子模块。稀疏接触表示模块负责提取和选择重要的接触信息，而稀疏算子模块则在深度网络层中进行高效计算。

关键创新：最重要的创新在于稀疏接触掩码的引入和稀疏算子的设计。这与现有方法的本质区别在于，前者减少了不必要的数据处理，后者提升了计算速度。

关键设计：在参数设置上，稀疏接触掩码通过特定算法选择接触点，损失函数则优化了重建精度，网络结构采用了适应稀疏算子的深度学习架构。具体细节包括算子的稀疏性和选择策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在重建精度上超越了现有最先进模型，并在计算速度上实现了至少12倍的提升。这一显著的性能提升证明了稀疏接触表示和稀疏算子的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、机器人控制和监控系统等。通过提高人类场景交互的效率和精度，可以显著提升用户体验和系统响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Human-scene interaction is an active research topic with several industrial applications in virtual reality, gaming, robotics, and surveillance. Despite significant progress in network architectures to improve the results or optimize models' parameters for fast inference speed, the efficient representation of contact between humans and their environments remains an open challenge. In this paper, we propose a new efficient human-contact representation for human-scene interaction. Our primary contribution is the introduction of sparse contact masks that strategically select essential contact information, significantly reducing redundant data in high-dimensional inputs. Leveraging this efficient contact representation, we propose a suite of sparse operators to replace traditional dense operators within deep network layers for faster computation. Our approach not only enhances computational speed but also filters out non-essential contact data, thereby improving the precision of human-scene interaction models. To validate the effectiveness of our method, we conduct intensive experiments across three public benchmark datasets, focusing on two critical tasks for human-scene interaction: contact prediction and scene synthesis. The experimental results show that our approach outperforms state-of-the-art models in reconstruction accuracy and achieves a computation speed-up of at least 12 times over recent baselines.