TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

📄 arXiv: 2606.26942v1 📥 PDF

作者: Shuchao Duan, Alan Whone, Hossein Rahmani, Jun Liu, Majid Mirmehdi

分类: cs.CV

发布日期: 2026-06-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出TraMP-LLaMA以解决面部表情质量评估的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面部表情质量评估 可解释性 多模态框架 解耦指令调优 深度学习 医疗影像分析 情感计算

📋 核心要点

  1. 现有的面部表情质量评估方法仅提供严重性评分，缺乏对支持预测的面部运动证据的解释，限制了其可解释性。
  2. 本文提出的TraMP-LLaMA框架通过结合RGB外观和关键点轨迹，能够同时生成评分和文本报告，提升了模型的可解释性。
  3. 在PFED5-plus数据集上的实验结果显示，TraMP-LLaMA在报告生成和严重性预测方面均优于现有方法，显著提高了预测性能。

📝 摘要（中文）

现有的面部表情质量评估（FEQA）方法通常仅输出严重性评分，未能明确传达支持预测的可观察面部运动证据。这限制了可解释性，并使得在帕金森病评估中难以检查模型输出的依据。为了解决这一问题，本文提出了TraMP-LLaMA，一个统一的多模态框架，能够同时预测严重性评分并生成结构化的文本报告。该框架整合了RGB外观和关键点轨迹线索，并采用解耦指令调优策略，以减少严重性预测与语言生成之间的任务干扰。实验结果表明，TraMP-LLaMA在报告生成方面优于竞争性的视频-语言基线，并在联合多表情训练下实现了最佳的严重性预测性能，Spearman等级相关性提高至少4.39%。

🔬 方法详解

问题定义：本文旨在解决现有面部表情质量评估方法缺乏可解释性的问题，尤其是在帕金森病评估中，模型输出的依据难以检查。

核心思路：TraMP-LLaMA通过结合面部运动线索和文本生成，提供了更为全面的评估结果，采用解耦指令调优策略以减少任务间的干扰。

技术框架：该框架包括两个主要模块：一是严重性评分预测模块，二是文本报告生成模块，二者通过解耦的方式进行训练，确保各自任务的独立性。

关键创新：TraMP-LLaMA的创新在于其解耦指令调优策略，能够有效降低严重性预测与语言生成之间的干扰，提升了模型的整体性能。

关键设计：在模型设计中，采用了RGB图像和关键点轨迹作为输入，损失函数则结合了评分预测和文本生成的目标，确保模型在两个任务上均能取得良好表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TraMP-LLaMA在PFED5-plus数据集上实现了最佳的严重性预测性能，相较于所有竞争方法，Spearman等级相关性提高至少4.39%。此外，在报告生成方面，该模型也优于现有的视频-语言基线，展示了其在多模态任务中的优势。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、情感计算和人机交互等。通过提供可解释的面部表情质量评估，TraMP-LLaMA能够帮助医生更好地理解患者的情感状态，尤其是在神经系统疾病的评估中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing facial expression quality assessment (FEQA) methods typically produce only a severity score, without explicitly communicating the observable facial motion evidence that supports the prediction. This limits interpretability and makes it difficult to inspect the basis of model outputs in Parkinson's disease assessment. To address this gap, we propose TraMP-LLaMA, a unified multimodal framework that jointly predicts severity scores and generates structured textual reports from facial motion cues. The framework integrates RGB appearance and landmark trajectory cues, and adopts a decoupled instruction-tuning strategy to reduce task interference between severity prediction and language generation. To support this task, we further extend the PFED5 dataset with expert-guided textual motion descriptions and construct PFED5-plus. Experiments on PFED5-plus show that TraMP-LLaMA outperforms competitive video-language baselines in report generation and achieves the best severity prediction performance among the compared methods under joint multi-expression training, improving Spearman's rank correlation by at least 4.39 percent over all competing methods. The text annotations and code are available at https://github.com/shuchaoduan/TraMP-LLaMA.