HarmTrace: Anchor-Calibrated Decoupled Optimization for Fine-Grained Target Identification in Harmful Memes

📄 arXiv: 2608.16622v1 📥 PDF

作者: Yujia Li, Yiqun Zhang, Zihan Cheng, Yijie Huang, Tenglong Ye, Zihan Wang, Xiaocui Yang, Shi Feng, Yifei Zhang, Daling Wang

分类: cs.CV, cs.AI

发布日期: 2026-08-17

🔗 代码/项目: GITHUB

💡 一句话要点

提出HarmTrace以解决有害表情包中的细粒度目标识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害表情包 细粒度目标识别 多模态学习 锚点校准 解耦优化 条件目标识别 网络安全 信息传播监测

📋 核心要点

  1. 现有的有害表情包检测方法在识别攻击目标和支持证据方面存在不足，导致模型可能正确预测有害性但错误识别目标。
  2. 论文提出HarmTrace框架，通过锚点校准的解耦优化，增强目标实体监督，并使用CTPO解耦有害性与目标识别的优势。
  3. 实验结果显示，HarmTrace在Qwen3-VL-8B基础上，JRA从17.58%提升至52.51%，显著提高了模型的识别性能。

📝 摘要（中文）

多模态有害表情包检测通常被视为图像与文本的有害性分类。模型可能正确预测有害性，但错误识别攻击目标或其支持证据。因此，我们扩展了有害表情包检测，增加了细粒度目标识别，要求识别攻击的目标类型、被攻击者及其在表情包中的位置。为支持这一任务，我们引入了Meme3W，统一了多个公共有害表情包数据集，并提供了经过人工验证的有害实例注释。此外，我们提出了联合记录准确率（JRA），这一严格的记录级指标要求有害性标签和所有目标识别字段共同正确。实验表明，有害性准确率与JRA之间存在显著差距。为缩小这一差距，我们提出了HarmTrace，一个锚点校准的解耦优化框架，增强了目标实体监督，通过条件目标识别策略优化（CTPO）解耦有害性与目标识别优势。HarmTrace在评估的基础上提高了JRA和有害性准确率。

🔬 方法详解

问题定义：本论文旨在解决有害表情包中的细粒度目标识别问题，现有方法在识别攻击目标和支持证据时存在显著不足，导致模型可能正确预测有害性但错误识别目标。

核心思路：HarmTrace框架通过锚点校准的解耦优化，增强了目标实体的监督，采用条件目标识别策略优化（CTPO）来解耦有害性与目标识别的优势，从而提高整体识别准确性。

技术框架：HarmTrace的整体架构包括目标实体监督的增强模块和CTPO模块。首先，通过实体感知的有监督微调来增强目标实体的监督，然后应用CTPO来限制目标识别优化，仅针对有害示例的标签正确响应进行优化。

关键创新：HarmTrace的关键创新在于引入了虚拟正锚（VPA）作为目标识别优势归一化的完全正确参考，这一设计与现有方法的本质区别在于其解耦了有害性与目标识别的优化过程。

关键设计：在HarmTrace中，关键设计包括损失函数的设置，确保目标识别的优化仅针对标签正确的响应，以及网络结构的选择，以支持多模态输入的有效处理。通过这些设计，HarmTrace显著提高了模型的识别性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HarmTrace在Qwen3-VL-8B基础上，JRA从17.58%提升至52.51%，同时有害性准确率也得到了显著提高，展示了该方法在细粒度目标识别中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、网络安全及信息传播监测等。通过提高有害表情包的识别能力，HarmTrace能够有效帮助平台识别和处理有害内容，减少虚假信息的传播，具有重要的社会价值和实际意义。

📄 摘要（原文）

Multimodal harmful meme detection is typically formulated as image--text harmfulness classification. A model may correctly predict harmfulness while misidentifying the attacked target or its supporting evidence. We therefore extend harmful meme detection with fine-grained target identification, asking what type of target is attacked, who is targeted, and where the target appears in the meme. The model predicts harmfulness for every meme and, for harmful memes, outputs the target category, target entity, textual mention, and visual region. To support this task, we introduce Meme3W, which unifies multiple public harmful meme datasets and provides human-verified annotations for harmful instances. We further introduce Joint Record Accuracy (JRA), a strict record-level metric requiring the harmfulness label and all target-identification fields to be jointly correct. Experiments with representative multimodal large language models reveal a substantial gap between harmfulness accuracy and JRA. To narrow this gap, we propose HarmTrace, an anchor-calibrated decoupled optimization framework. HarmTrace strengthens target-entity supervision through entity-aware supervised fine-tuning. It then applies Conditional Target-identification Policy Optimization (CTPO) to decouple harmfulness and target-identification advantages, restricting target-identification optimization to label-correct responses for harmful examples. CTPO uses a Virtual Positive Anchor (VPA) as a fully correct reference for target-identification advantage normalization. HarmTrace improves both JRA and harmfulness accuracy across the evaluated backbones, with JRA on the Qwen3-VL-8B backbone increasing from 17.58\% to 52.51\%. Our code is publicly available at https://github.com/llly1234/HarmTrace-for-Harmful-Memes.