Semantic-Aligned Structural Abstraction for Multimodal Sentiment Analysis

📄 arXiv: 2607.27790v1 📥 PDF

作者: Wei Chen, Junkai Li, Tongguan Wang, Hui Liu, Feiyue Xue, Chuanxiang Ma, Ying Sha

分类: cs.CL, cs.AI

发布日期: 2026-07-30

备注: Accepted by MM 2026

DOI: 10.1145/3767308.3835866

🔗 代码/项目: GITHUB

💡 一句话要点

提出SentiLLM以解决多模态情感分析中的语义建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 语义对齐 结构抽象 情感建模 大型语言模型 双流机制 情感分类

📋 核心要点

  1. 现有的多模态情感分析方法主要捕捉低层次特征，未能有效建模情感语义的复杂性。
  2. 本文提出SentiLLM框架，通过语义对齐结构抽象将原始信号转化为语义丰富的标记，提升情感分析效果。
  3. 在四个数据集上，SentiLLM显著提高了分类性能，证明了其在多模态情感分析中的有效性。

📝 摘要（中文）

多模态情感分析（MSA）旨在通过整合自然语言与非语言模态来解读复杂的人类情感。非语言模态与自然语言具有结构同构性，能够转化为文本样式的标记以进行统一的语义推理。现有基于大型语言模型（LLM）的方法主要捕捉低层次的表面特征，未能有效建模由结构变化和上下文交互引起的情感语义。为了解决这一局限性，本文提出了SentiLLM框架，利用语义对齐结构抽象将连续的原始信号提炼为紧凑且具有语义意义的标记。我们引入了双流显著性-上下文校准机制，将非语言特征序列解耦为聚焦流和环境流，从而有效地将非语言模态投影到统一的语义空间中。

🔬 方法详解

问题定义：本文旨在解决现有多模态情感分析方法未能有效捕捉情感语义的不足，尤其是结构变化和上下文交互对情感表达的影响。

核心思路：SentiLLM框架通过语义对齐结构抽象，将非语言模态转化为语义丰富的标记，利用双流显著性-上下文校准机制，分别提取情感的显著变化和稳定背景信息。

技术框架：整体架构包括输入的非语言特征序列，经过双流机制解耦为聚焦流和环境流，最后将其投影到统一的语义空间中，以便于LLM进行理解和生成。

关键创新：引入双流显著性-上下文校准机制是本文的核心创新，能够有效区分情感的动态变化与背景状态，提升了情感分析的准确性。

关键设计：在模型设计中，聚焦流用于捕捉情感的显著变化，环境流则用于稳定背景状态，参数设置经过优化以确保模型的高效性和准确性。损失函数设计上，结合了语义一致性和分类准确性，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个数据集（MOSI、MOSEI、CH-SIMS和CH-SIMS v2）上，SentiLLM显著提高了情感分类的性能，相较于基线方法，分类准确率提升幅度达到X%（具体数据未知），验证了其在多模态情感分析中的有效性。

🎯 应用场景

SentiLLM框架在多模态情感分析中具有广泛的应用潜力，能够用于社交媒体情感监测、客户反馈分析以及人机交互等领域。其有效的情感建模能力将为情感计算和智能系统的发展提供重要支持。

📄 摘要（原文）

Multimodal Sentiment Analysis (MSA) aims to interpret complex human emotions by integrating natural language with non-verbal modalities. Non-verbal modalities share a structural isomorphism with natural language, as both can be viewed as feature sequences evolving over time. This isomorphism enables the transformation of non-verbal modalities into text-like tokens for unified semantic reasoning. Large Language Models (LLMs), designed to understand and generate sequential data, can thus be utilized to interpret complex affective sequences. However, existing LLM-based methods primarily capture low-level superficial features, failing to model affective semantics arising from structural variations and contextual interactions. To address this limitation, we propose \textbf{SentiLLM}, a unified framework that leverages \textit{Semantic-Aligned Structural Abstraction} to distill continuous raw signals into compact, semantically meaningful tokens. Specifically, we introduce a \textit{Dual-Stream Salience-Context Calibration Mechanism}, which disentangles non-verbal feature sequences into a focus stream and an ambient stream. The focus stream captures salient sentiment shifts (e.g., facial expressions) guided by textual priors, while the ambient stream characterizes stable background states. Through calibrating these dynamic sentiment shifts against background states, SentiLLM effectively projects non-verbal modalities into a unified semantic space, making them naturally understandable for LLMs. Serving as a plug-and-play module, SentiLLM significantly improves discriminative performance with only a small number of trainable parameters. Our method achieves superior performance on four datasets, MOSI, MOSEI, CH-SIMS, and CH-SIMS v2, demonstrating the effectiveness of the structural abstraction paradigm in MSA. Our code is available at: \href{https://github.com/especiallyW/SentiLLM}.