Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

📄 arXiv: 2606.24523v1 📥 PDF

作者: Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

分类: cs.CL, cs.AI

发布日期: 2026-06-23

备注: Poster paper accepted at 47th IEEE Security & Privacy 2026

💡 一句话要点

提出多模态数据集以支持土耳其电话诈骗检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 诈骗检测 多模态数据集 大型语言模型 土耳其语 低资源语言 音频处理 文本处理

📋 核心要点

  1. 现有的诈骗电话检测研究主要集中在高资源语言上，导致低资源语言如土耳其的检测面临数据稀缺和技术限制的挑战。
  2. 本研究提出了一个包含100对音频-文本对的公共多模态数据集，并评估了多种大型语言模型在诈骗检测中的应用。
  3. 实验结果显示，文本输入的检测效果优于直接音频处理，且人类修正的文本与未修正文本的表现相近，表明文本处理的有效性。

📝 摘要（中文）

诈骗电话在全球范围内利用脆弱社区，但现有研究主要集中在英语等高资源语言上。在低资源环境如土耳其，检测尤其困难，因为标注数据稀缺且技术防御有限。本研究通过引入首个包含100对诈骗与良性对话的音频-文本对的公共多模态数据集，探讨大型语言模型（LLMs）如何支持土耳其的诈骗检测。我们评估了七种跨三种模型系列的LLMs，结果表明，基于文本的输入始终优于直接音频处理，且人类修正和未修正的文本表现相当。该研究强调了文化和语言包容的AI安全研究的紧迫性，以及更强大的多模态系统在防诈骗中的重要性。

🔬 方法详解

问题定义：本研究旨在解决土耳其语诈骗电话检测的困难，现有方法在低资源语言上缺乏有效的技术支持和数据集。

核心思路：通过构建首个包含音频与文本对的多模态数据集，利用大型语言模型来提高土耳其语诈骗检测的准确性和效率。

技术框架：研究设计了一个多模态框架，包含音频输入、自动语音识别（ASR）生成的文本输入，以及由母语者修正的文本输入，评估不同输入条件下的模型表现。

关键创新：首次引入了针对低资源语言的多模态数据集，并系统评估了多种大型语言模型在诈骗检测中的表现，填补了相关研究的空白。

关键设计：在模型评估中，使用了七种不同的LLMs，比较了原始音频、ASR文本和人类修正文本的检测效果，确保了实验的全面性和可靠性。

📊 实验亮点

实验结果表明，基于文本的输入在诈骗检测中表现优于直接音频处理，且人类修正的文本与未修正文本的检测效果相当。这一发现强调了文本处理在低资源语言诈骗检测中的重要性。

🎯 应用场景

该研究的潜在应用领域包括电话诈骗检测、客户服务安全和社会工程攻击防范。通过提升低资源语言的诈骗检测能力，能够更好地保护脆弱社区，具有重要的社会价值和实际影响。

📄 摘要（原文）

Scam phone calls exploit vulnerable communities worldwide, yet research on detection has focused almost exclusively on English and other high-resource languages. In low-resource settings such as Turkish, detection is especially difficult, as annotated data is scarce and technological defenses remain limited. This research investigates how large language models (LLMs) can support scam detection in Turkish by introducing the first public multi-modal dataset of 100 aligned audio-transcript pairs of scam and benign conversations. We evaluate seven LLMs spanning three model families: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o, and Qwen (Max, Plus, Turbo), under three input conditions: raw audio, automatic speech-to-text transcripts, and transcripts refined by a native speaker. Our results suggest that transcript-based inputs consistently outperform direct audio processing, while human-corrected and uncorrected transcripts perform comparably. By centering a low-resource language and real world threat, this work highlights the urgent need for culturally and linguistically inclusive AI safety research and more robust multi-modal systems for fraud prevention.