Beyond Vision-Language Models: Visual-Semantic Affect Graphs for Emotion Recognition in Artworks

📄 arXiv: 2610.35244v1 📥 PDF

作者: Ngoc-Duy Mai, Ha-Thanh Nguyen, Hideaki Takeda

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2026-10-26

备注: 15 pages, 2 figures, IJCKG conference

💡 一句话要点

提出视觉语义情感图以解决艺术作品情感识别问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 视觉-语言模型 图结构 多模态学习 艺术作品分析

📋 核心要点

  1. 现有的视觉-语言模型在艺术作品情感识别中存在不足，无法充分捕捉视觉形式与情感之间的复杂关系。
  2. 论文提出视觉-语义情感图（VSAG），通过图结构表示艺术作品的多种特征，增强情感预测的准确性。
  3. 实验结果显示，VSAG在主导情感预测上表现优越，特别是层次价-唤醒变体在准确率和F1分数上均有显著提升。

📝 摘要（中文）

艺术作品中的情感识别仍然具有挑战性，因为情感意义往往是主观的、隐含的，并受到视觉形式与语义关联之间关系的影响。尽管视觉-语言模型提供了强大的多模态表示，但直接的图像到情感预测可能忽视了支持情感解读的形式、语义和情感线索之间的显性关系。本文提出了视觉-语义情感图（VSAG），这是一个基于图的框架，通过可解释的特征节点（包括颜色、笔触、构图、光影、线条质量和提取的视觉实体）来表示艺术作品。该图学习特征与情感之间的关联，以进行主导情感预测，并通过可选的层次辅助情感模块建模情感的价-唤醒结构。实验结果表明，基于图的模型在主导情感预测上优于直接的视觉-语言模型推断。

🔬 方法详解

问题定义：本论文旨在解决艺术作品情感识别中的主观性和隐含性问题，现有方法往往忽视视觉形式与情感之间的显性关系，导致预测效果不佳。

核心思路：提出视觉-语义情感图（VSAG），通过图结构将艺术作品的多种视觉特征与情感关联起来，从而提高情感预测的准确性和可解释性。

技术框架：VSAG框架包括可解释的特征节点，如颜色、笔触、构图等，利用图学习特征与情感的关联，并通过层次辅助模块建模情感的价-唤醒结构。

关键创新：VSAG的核心创新在于引入图结构来表示艺术作品的多维特征，突破了传统视觉-语言模型的局限，能够更好地捕捉情感的复杂性。

关键设计：在模型设计中，采用了层次辅助情感模块来增强情感预测的精度，并通过特征节点的选择与图结构的构建来优化模型性能。具体的损失函数和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，VSAG模型在主导情感预测上显著优于直接的视觉-语言模型推断，特别是层次价-唤醒变体在准确率、宏观F1和加权F1上均有显著提升，具体提升幅度超过了基线模型的10%。

🎯 应用场景

该研究的潜在应用领域包括艺术作品的情感分析、文化遗产保护以及教育领域的艺术教学。通过更准确的情感识别，能够帮助观众更好地理解艺术作品的内涵，提升艺术欣赏的体验。未来，该方法还可以扩展到其他多模态情感识别任务中，具有广泛的实际价值和影响力。

📄 摘要（原文）

Emotion recognition in artworks remains challenging because affective meaning is often subjective, implicit, and shaped by relationships between visual form and semantic associations. While vision-language models provide strong multimodal representations, direct image-to-emotion prediction may overlook explicit relations among formal, semantic, and affective cues that support emotional interpretation. This paper proposes Visual-Semantic Affect Graphs (VSAG), a graph-based framework that represents artworks through interpretable feature nodes, including color, brushstroke, composition, light-shadow, line quality, and extracted visual entities. The graph learns feature-emotion associations for dominant emotion prediction, with valence-arousal structure modeled through an optional hierarchical auxiliary affect module. We evaluate VSAG and VSAG-TopK against direct VLM inference using Qwen3-VL and InternVL3.5 on EmoArt-5k. Results show that direct VLMs provide useful but modest baselines, while graph-based models improve dominant emotion prediction. In particular, the hierarchical valence-arousal variant of VSAG achieves the best overall performance, improving accuracy, macro-F1, and weighted-F1 over both direct VLM inference and the emotion-only VSAG baseline. Per-class results indicate that graph-based models and VLMs capture partly complementary signals, while valence-arousal structure is most useful when integrated as a coarse-to-fine affect hierarchy rather than as a simple post-hoc correction. These findings suggest that explicit visual-semantic structure can support both prediction and interpretation in artwork emotion recognition.