Enhancing Human-Centered Dynamic Scene Understanding via Multiple LLMs Collaborated Reasoning

📄 arXiv: 2403.10107v2 📥 PDF

作者: Hang Zhang, Wenxiao Zhang, Haoxuan Qu, Jun Liu

分类: cs.CV, cs.AI, cs.MM

发布日期: 2024-03-15 (更新: 2024-07-19)

💡 一句话要点

提出V-HOI MLCR框架以提升动态场景中的人机交互理解能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 动态场景理解 多模态推理 大语言模型 视频分析 辅助训练 HOI检测

📋 核心要点

  1. 现有V-HOI检测模型在特定数据集上表现良好，但缺乏人类般的推理能力，无法有效推导HOI关系。
  2. 提出V-HOI MLCR框架，通过多LLM协作推理，利用不同LLMs的推理能力，提升V-HOI检测性能。
  3. 实验结果表明，V-HOI MLCR框架显著提高了基础V-HOI模型的预测准确性，验证了其有效性。

📝 摘要（中文）

人机交互动态场景理解在增强机器人和自主系统的能力中至关重要，其中基于视频的人物-物体交互（V-HOI）检测是语义场景理解中的关键任务，旨在全面理解视频中的HOI关系，以促进移动机器人和自动驾驶系统的行为决策。尽管现有的V-HOI检测模型在特定数据集上取得了显著进展，但仍缺乏像人类一样有效推导HOI关系的通用推理能力。本研究提出了V-HOI多LLM协作推理（V-HOI MLCR）框架，通过利用不同预训练大语言模型（LLMs）的强推理能力，提升当前V-HOI检测模型的性能。我们设计了一个两阶段的LLM协作系统，首先通过跨代理推理方案从不同角度进行推理，随后通过多LLM辩论获得最终推理结果。此外，我们还设计了一种辅助训练策略，利用CLIP模型增强基础V-HOI模型的判别能力，以更好地与LLMs合作。我们的设计通过多角度推理显著提高了基础V-HOI模型的预测准确性。

🔬 方法详解

问题定义：本研究旨在解决现有V-HOI检测模型在推导HOI关系时缺乏通用推理能力的问题，导致其在动态场景理解中的应用受限。

核心思路：提出V-HOI MLCR框架，通过设计两阶段的LLM协作推理系统，利用不同LLMs的知识和推理能力，从多个角度进行HOI关系的推导。

技术框架：框架分为两个主要阶段：第一阶段是跨代理推理，利用不同LLMs从多角度进行推理；第二阶段是多LLM辩论，整合不同LLMs的推理结果以获得最终答案。

关键创新：最重要的创新在于将多个LLMs的推理能力进行协作，形成一个综合的推理机制，这与传统单一模型的推理方式有本质区别。

关键设计：设计了辅助训练策略，利用CLIP模型增强基础V-HOI模型的判别能力，确保其能够更好地与LLMs进行协作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，V-HOI MLCR框架在基准测试中显著提高了基础V-HOI模型的预测准确性，具体提升幅度达到XX%，相较于传统模型表现出更强的推理能力和适应性。

🎯 应用场景

该研究的潜在应用领域包括移动机器人、自动驾驶系统以及智能监控等场景，能够显著提升这些系统在复杂动态环境中的人机交互理解能力，进而改善其决策能力和执行效率。未来，该框架有望在更广泛的智能系统中得到应用，推动人机协作的进一步发展。

📄 摘要（原文）

Human-centered dynamic scene understanding plays a pivotal role in enhancing the capability of robotic and autonomous systems, in which Video-based Human-Object Interaction (V-HOI) detection is a crucial task in semantic scene understanding, aimed at comprehensively understanding HOI relationships within a video to benefit the behavioral decisions of mobile robots and autonomous driving systems. Although previous V-HOI detection models have made significant strides in accurate detection on specific datasets, they still lack the general reasoning ability like human beings to effectively induce HOI relationships. In this study, we propose V-HOI Multi-LLMs Collaborated Reasoning (V-HOI MLCR), a novel framework consisting of a series of plug-and-play modules that could facilitate the performance of current V-HOI detection models by leveraging the strong reasoning ability of different off-the-shelf pre-trained large language models (LLMs). We design a two-stage collaboration system of different LLMs for the V-HOI task. Specifically, in the first stage, we design a Cross-Agents Reasoning scheme to leverage the LLM conduct reasoning from different aspects. In the second stage, we perform Multi-LLMs Debate to get the final reasoning answer based on the different knowledge in different LLMs. Additionally, we devise an auxiliary training strategy that utilizes CLIP, a large vision-language model to enhance the base V-HOI models' discriminative ability to better cooperate with LLMs. We validate the superiority of our design by demonstrating its effectiveness in improving the prediction accuracy of the base V-HOI model via reasoning from multiple perspectives.