Detection of Illicit Content on Online Marketplaces using Large Language Models

📄 arXiv: 2603.04707v1 📥 PDF

作者: Quoc Khoa Tran, Thanh Thi Nguyen, Campbell Wilson

分类: cs.CL, cs.AI

发布日期: 2026-03-05

备注: Accepted for publication in the Proceedings of the 8th International Conference on Natural Language Processing (ICNLP 2026)

💡 一句话要点

利用大型语言模型检测在线市场中的非法内容

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 非法内容检测 在线市场 参数高效微调 多类别分类 自然语言处理 内容审核

📋 核心要点

  1. 现有在线市场内容审核方法在处理大规模、多语言和动态混淆的非法内容时面临可扩展性和有效性的挑战。
  2. 该研究探索使用大型语言模型（LLMs）进行非法内容检测，并采用参数高效微调和量化技术优化模型性能。
  3. 实验表明，LLMs在复杂的多类别非法内容分类任务中显著优于传统机器学习模型和基础Transformer模型。

📝 摘要（中文）

在线市场在促进全球商业的同时，也无意中助长了非法活动的蔓延，包括毒品交易、假冒商品销售和网络犯罪。传统的内容审核方法，如人工审核和基于规则的自动化系统，在可扩展性、动态混淆技术和多语言内容方面面临挑战。传统的机器学习模型在简单的环境中有效，但在面对非法市场交流的语义复杂性和语言细微差别时常常失效。本研究调查了大型语言模型（LLM），特别是Meta的Llama 3.2和Google的Gemma 3，在使用多语言DUTA10K数据集检测和分类非法在线市场内容方面的有效性。通过采用参数高效微调（PEFT）和量化等微调技术，这些模型与基于Transformer的基础模型（BERT）和传统的机器学习基线（支持向量机和朴素贝叶斯）进行了系统地基准测试。实验结果表明，LLM具有任务依赖性优势。在二元分类（非法与非非法）中，Llama 3.2表现出与传统方法相当的性能。然而，对于涉及40个特定非法类别的复杂、不平衡的多类分类，Llama 3.2显著优于所有基线模型。这些发现为加强在线安全提供了重要的实际意义，为执法机构、电子商务平台和网络安全专家配备了更有效、可扩展和自适应的非法内容检测和审核工具。

🔬 方法详解

问题定义：论文旨在解决在线市场中非法内容检测的问题。现有方法，如人工审核和基于规则的系统，难以扩展到海量数据，并且容易被混淆技术绕过。传统的机器学习模型在处理复杂语义和语言细微差别时表现不佳。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的语义理解和生成能力，通过微调使其适应非法内容检测任务。LLMs能够捕捉到细微的语言模式和上下文信息，从而更准确地识别非法内容。

技术框架：该研究的技术框架包括数据准备（DUTA10K数据集），模型选择（Llama 3.2, Gemma 3, BERT, SVM, Naive Bayes），微调策略（Parameter-Efficient Fine-Tuning (PEFT), 量化），以及性能评估。首先，使用DUTA10K数据集对LLMs进行微调。然后，将微调后的LLMs与BERT、SVM和Naive Bayes等基线模型进行比较，评估其在二元分类和多类分类任务中的性能。

关键创新：该研究的关键创新在于将大型语言模型应用于在线市场非法内容检测，并探索了参数高效微调和量化等优化技术。与传统方法相比，LLMs能够更好地理解复杂语义和语言细微差别，从而提高检测准确率。

关键设计：研究中采用了Parameter-Efficient Fine-Tuning (PEFT)技术，以减少微调LLMs所需的计算资源。此外，还使用了量化技术来压缩模型大小，提高推理速度。DUTA10K数据集被用于训练和评估模型，该数据集包含40个特定非法类别，涵盖了各种类型的非法内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Llama 3.2在二元分类任务中表现与传统方法相当，但在复杂的多类别分类任务中显著优于所有基线模型。尤其是在涉及40个特定非法类别的多类分类任务中，Llama 3.2的表现明显优于BERT、SVM和Naive Bayes等基线模型，证明了LLMs在处理复杂语义理解任务方面的优势。

🎯 应用场景

该研究成果可应用于电子商务平台、社交媒体平台和执法机构，用于自动检测和过滤非法内容，提高在线安全。通过部署基于LLM的非法内容检测系统，可以有效减少人工审核的工作量，并提高检测效率和准确性，从而营造更安全、更健康的在线环境。

📄 摘要（原文）

Online marketplaces, while revolutionizing global commerce, have inadvertently facilitated the proliferation of illicit activities, including drug trafficking, counterfeit sales, and cybercrimes. Traditional content moderation methods such as manual reviews and rule-based automated systems struggle with scalability, dynamic obfuscation techniques, and multilingual content. Conventional machine learning models, though effective in simpler contexts, often falter when confronting the semantic complexities and linguistic nuances characteristic of illicit marketplace communications. This research investigates the efficacy of Large Language Models (LLMs), specifically Meta's Llama 3.2 and Google's Gemma 3, in detecting and classifying illicit online marketplace content using the multilingual DUTA10K dataset. Employing fine-tuning techniques such as Parameter-Efficient Fine-Tuning (PEFT) and quantization, these models were systematically benchmarked against a foundational transformer-based model (BERT) and traditional machine learning baselines (Support Vector Machines and Naive Bayes). Experimental results reveal a task-dependent advantage for LLMs. In binary classification (illicit vs. non-illicit), Llama 3.2 demonstrated performance comparable to traditional methods. However, for complex, imbalanced multi-class classification involving 40 specific illicit categories, Llama 3.2 significantly surpassed all baseline models. These findings offer substantial practical implications for enhancing online safety, equipping law enforcement agencies, e-commerce platforms, and cybersecurity specialists with more effective, scalable, and adaptive tools for illicit content detection and moderation.