Scaling Up LLM Reviews for Google Ads Content Moderation

📄 arXiv: 2402.14590v1 📥 PDF

作者: Wei Qiao, Tushar Dogra, Otilia Stretcu, Yu-Han Lyu, Tiantian Fang, Dongjin Kwon, Chun-Ta Lu, Enming Luo, Yuan Wang, Chih-Chun Chia, Ariel Fuxman, Fangzhou Wang, Ranjay Krishna, Mehmet Tek

分类: cs.IR, cs.CL, cs.LG

发布日期: 2024-02-07

DOI: 10.1145/3616855.3635736

💡 一句话要点

提出一种方法以提升Google Ads内容审核的效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 内容审核 Google Ads 集群分析 标签传播 跨模态表示 效率提升

📋 核心要点

  1. 现有的内容审核方法在处理大规模数据集时面临高成本和延迟问题，限制了其应用。
  2. 本研究通过启发式筛选和集群代表选择，优化了LLM在Google Ads内容审核中的应用效率。
  3. 实验结果表明，该方法在审核数量上减少了三个数量级，同时召回率提高了两倍，表现优于传统方法。

📝 摘要（中文）

大型语言模型（LLMs）在内容审核中具有强大的能力，但其推理成本和延迟使其在处理大规模数据集（如Google Ads库）时难以应用。本研究提出了一种方法，通过启发式筛选和去重来选择候选广告，并为每个广告集群选择一个代表广告进行LLM审核，最后将审核结果传播回集群。这种方法将审核数量减少了三个数量级，同时在召回率上比基线非LLM模型提高了两倍。成功的关键在于集群和标签传播中使用的表示方式，跨模态相似性表示的效果优于单模态表示。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在Google Ads内容审核中因推理成本和延迟而难以广泛应用的问题。现有方法在处理大规模数据集时效率低下，无法满足实际需求。

核心思路：论文提出通过启发式方法筛选候选广告，并为每个集群选择一个代表广告进行审核，最后将审核结果传播回集群，从而显著减少审核数量并提高效率。

技术框架：整体流程包括三个主要阶段：首先，使用启发式方法进行候选广告的筛选和去重；其次，基于集群选择代表广告并进行LLM审核；最后，将审核结果传播回各个集群。

关键创新：最重要的技术创新在于通过集群和标签传播的方式，显著降低了需要审核的广告数量，同时保持了较高的召回率。这种方法与传统的逐个审核方式有本质区别。

关键设计：在集群过程中，采用了跨模态相似性表示来提高审核效果，相较于单模态表示，跨模态表示在性能上表现更佳。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，该方法将审核数量减少了三个数量级，同时在召回率上比基线非LLM模型提高了两倍，验证了其在大规模内容审核中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括在线广告审核、社交媒体内容管理及其他需要大规模内容审核的场景。通过提高审核效率，能够降低人工成本，提升内容审核的准确性和及时性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are powerful tools for content moderation, but their inference costs and latency make them prohibitive for casual use on large datasets, such as the Google Ads repository. This study proposes a method for scaling up LLM reviews for content moderation in Google Ads. First, we use heuristics to select candidates via filtering and duplicate removal, and create clusters of ads for which we select one representative ad per cluster. We then use LLMs to review only the representative ads. Finally, we propagate the LLM decisions for the representative ads back to their clusters. This method reduces the number of reviews by more than 3 orders of magnitude while achieving a 2x recall compared to a baseline non-LLM model. The success of this approach is a strong function of the representations used in clustering and label propagation; we found that cross-modal similarity representations yield better results than uni-modal representations.