HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence

📄 arXiv: 2608.26517v1 📥 PDF

作者: Fei Ma, Zebang Cheng, Minghui Li, Hongbo Xu, Yuyong Tan, Yihua Shao, Hanling Wang, Zhou Liu, Yuqing Gao, Dong Wang, Long Ma, Laizhong Cui, Nicu Sebe, Qi Tian

分类: cs.CV

发布日期: 2026-08-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出HUG-VIS以解决人本视觉智能的多模态理解与生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 人本视觉智能 情感识别 视频生成 语音克隆 视频抠图 数据集 跨任务评估

📋 核心要点

  1. 现有的多模态视觉智能资源多为任务特定，缺乏统一的基础，限制了多模态信号的使用和更广泛的研究。
  2. 本文提出HUG-VIS基准，整合视频、音频和文本数据，支持情感识别、视频生成、语音克隆和视频抠图等任务。
  3. 实验结果显示，语言内容在情感识别中占主导地位，视频生成和语音克隆的自动指标与人类判断存在差异，任务难度因情感和模型而异。

📝 摘要（中文）

视觉智能旨在感知、解释和合成视觉世界，是现代计算机视觉的核心。人本视觉智能尤其具有挑战性，因为它研究人类作为富有表现力和社会背景的主体，其意义往往无法仅通过外观传达。现有资源多为任务特定，缺乏协调理解与生成的共享基础。为此，本文提出HUG-VIS，一个统一的基准，包含8400段专业演员的半身视频，涵盖情感识别、视频生成、语音克隆和视频抠图等任务，提供同步的视频、音频、文本和alpha matte。通过统一的零样本协议评估多种模型，结果表明语言内容主导情感识别，视频生成和语音克隆的自动指标与人类判断总体一致但排名不同，运动下的边界保真度仍是人抠图的主要障碍。

🔬 方法详解

问题定义：本文旨在解决现有多模态视觉智能资源缺乏统一基础的问题，现有方法多为任务特定，无法有效协调理解与生成。

核心思路：提出HUG-VIS基准，通过整合视频、音频和文本数据，提供一个共享的多模态平台，以支持多种人本视觉智能任务。

技术框架：HUG-VIS包含8400段半身视频，30名专业演员在受控环境下执行280个情感-动作-提示任务，数据同步包括视频、音频、文本和alpha matte，支持统一的零样本协议评估。

关键创新：HUG-VIS的最大创新在于其统一性和多样性，提供了一个跨任务的基准，促进了多模态信号的整合与应用。

关键设计：数据集设计中，采用了严格的控制协议，确保了数据的高质量和一致性，评估中使用了自动指标和人类评分的结合，以全面反映模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，语言内容在情感识别中占主导地位，纯视觉情感识别表现最弱。在视频生成和语音克隆任务中，自动指标与人类判断总体一致，但排名存在差异，需联合报告。人抠图任务中，运动下的边界保真度仍是主要障碍，任务难度因情感、模型和指标而异，具有显著的跨任务相关性。

🎯 应用场景

HUG-VIS的研究成果可广泛应用于人机交互、情感计算、虚拟现实和增强现实等领域。通过提升多模态理解与生成能力，能够改善用户体验，推动智能系统的进一步发展。未来，HUG-VIS可能成为多模态研究的标准基准，促进相关技术的创新与应用。

📄 摘要（原文）

Visual intelligence seeks to perceive, interpret, and synthesize the visual world and is central to modern computer vision. Human-centered visual intelligence is especially demanding because it studies people as expressive, socially situated subjects whose meaning is rarely conveyed by appearance alone. It couples vision with audio and language across four representative tasks: human emotion recognition, human video generation, human voice cloning, and human video matting. Yet existing resources remain task-specific, providing modalities and annotations for individual problems rather than a shared foundation coordinating understanding and generation. This limits multimodal signal use and broader research. We address this gap with HUG-VIS, a unified benchmark for Human-centered Understanding and Generation in Visual Intelligence. It contains 8,400 seated half-body videos of 30 professional actors, each performing the same 280 emotion-action-prompt assignments under a controlled Mandarin studio protocol, with synchronized video, audio, text, and alpha mattes. We evaluate diverse open- and closed-source models across the four tasks under a unified zero-shot protocol using automatic metrics, criterion-specific mean opinion scores, and multiple cross-task analyses. Results show that (i) linguistic content dominates current emotion recognition, while purely visual affect recognition is weakest; (ii) in video generation and voice cloning, automatic metrics and human judgment agree overall but differ in their top rankings, requiring joint reporting; (iii) boundary fidelity under motion is the main remaining obstacle for human matting; and (iv) task difficulty varies across emotions, models, and metrics, with notable cross-task correlations. The dataset and results are available at https://github.com/GML-MMGroup/HUG-VIS.