Divide, Deliberate, Decide: A Multi-Agent Framework for Fine-Grained Egocentric Action Recognition

📄 arXiv: 2606.17627v1 📥 PDF

作者: Alessandro Sottovia, Alessandro Torcinovich, Oswald Lanz

分类: cs.CV, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出多代理框架以解决细粒度自我中心动作识别问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 细粒度动作识别 自我中心视频 多代理框架 视觉-语言模型 异构模型 结构化审议 Borda计数 零-shot学习

📋 核心要点

  1. 现有方法在细粒度自我中心动作识别中面临挑战，因动作间的视觉差异微小，导致模型偏向特定线索。
  2. 提出的Divide, Deliberate, Decide框架通过多代理协作，利用异构VLM专家进行结构化审议，提升识别准确性。
  3. 实验结果显示，该方法在零-shot动作识别上显著提升性能，相较于基线有明显改善，强调了异构模型的优势。

📝 摘要（中文）

细粒度动作识别在自我中心视频中对视觉-语言模型（VLMs）提出了挑战：动作往往仅在小的视觉线索上有所不同，单一模型容易偏向于这些线索的某一子集。我们提出了Divide, Deliberate, Decide，一个完全本地的零-shot多代理框架，其中（i）VLM协调器将视频分块并为每个片段提出前k个候选标签，（ii）来自不同开放模型家族的异构VLM专家进行结构化的审议，包括同行咨询的提问环节，以及（iii）通过Borda计数聚合代理排名，并在专家证据的基础上重新排名协调者的预测。整个流程在本地运行，无需微调。实验表明，我们的方法在零-shot动作识别性能上显著优于基线，突显了异构审议步骤的影响，表明性能提升源于模型先验的去相关性，而非额外的计算资源。

🔬 方法详解

问题定义：论文旨在解决细粒度自我中心视频中的动作识别问题，现有方法往往因视觉线索的微小差异而导致模型偏向特定线索，影响识别准确性。

核心思路：提出的框架Divide, Deliberate, Decide通过多代理的方式，结合异构VLM专家进行结构化的审议，旨在减少模型偏见并提升识别性能。

技术框架：整体架构包括三个主要模块：VLM协调器负责视频分块和候选标签生成，异构VLM专家进行审议和咨询，最后通过Borda计数聚合代理排名并重新排名预测结果。

关键创新：最重要的技术创新在于引入异构模型的审议过程，通过多样化的模型先验减少偏见，显著提升识别性能，这与传统单一模型方法形成鲜明对比。

关键设计：该框架在设计上无需微调，依赖于本地运行的异构模型，采用Borda计数法进行排名聚合，确保了模型之间的有效协作与信息共享。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Divide, Deliberate, Decide框架在零-shot动作识别任务中，相较于基线模型性能提升显著，具体提升幅度未知，强调了异构模型的协作效应和去相关性的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实、增强现实等场景，能够有效提升细粒度动作识别的准确性，进而推动人机交互、行为分析等领域的发展。未来，该框架有望在多模态学习和复杂场景理解中发挥更大作用。

📄 摘要（原文）

Fine-grained action recognition in egocentric video is challenging for Vision-Language Models (VLMs): actions often differ only in small visual cues, and a single model tends to be biased toward a subset of these cues. We propose Divide, Deliberate, Decide, a fully-local, zero-shot multi-agent framework in which (i) a VLM orchestrator chunks the video and proposes a top-k candidate label list per segment, (ii) an ensemble of heterogeneous VLM specialists, drawn from different open model families, engages in a structured deliberation that includes a peer-consultation round of questions, and (iii) agent rankings are aggregated with a Borda count and the orchestrator re-ranks its own prediction in light of the specialists' evidence. The entire pipeline runs locally with no fine-tuning. Experiments show that our method positively improves zero-shot action recognition performance over the baseline, highlighting the influence of a heterogeneous deliberation step, showing that the gain stems from decorrelated model priors rather than from additional compute.