FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection
作者: Y. H. Zhou, Z. M. Ma, Y. J. Zhou, Y. T. Li, H. X. Xiang, Y. M. Cheng, T. L. Chen, K. J. Zhang, Z. H. Nan, J. H. Ni, Z. Wu, Q. Y. Pan, S. Zhang, S. Cheng, M. Y. Luo
分类: cs.CL
发布日期: 2026-06-15
💡 一句话要点
提出FraudSMSWalker以解决SMS到网页的欺诈检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: SMS欺诈 网页检测 机器学习 欺诈判断 数据集 网络安全 模型评估
📋 核心要点
- 现有方法主要关注SMS欺诈的消息分类，缺乏对SMS与网页内容一致性的全面评估。
- FraudSMSWalker通过引入URL掩蔽的控制基准，评估SMS到网页的欺诈判断，提供了更真实的测试环境。
- 实验结果显示，当前模型在检测可疑线索方面表现良好，但在保持良性召回率上存在明显不足。
📝 摘要（中文）
随着SMS欺诈的跨渠道特性日益明显，用户收到的消息常常引导其访问网页，而最终的风险取决于SMS内容与网页内容及用户操作的匹配程度。然而，现有评估方法主要集中在仅对消息进行分类，或暴露URL和域名线索，使得模型依赖于声誉捷径。为填补这一空白，本文提出了FraudSMSWalker，一个针对URL掩蔽的SMS到网页欺诈判断的控制基准。该基准包含699个双语链条，包括332个欺诈案例和367个良性案例，涵盖十种服务场景。模型可见输入包括SMS上下文和清理后的网页证据，而原始URL、主机、域名、IP、重定向和声誉元数据则被隐藏。基准还包括一些困难的良性案例，这些页面包含在服务上下文中看似合理的登录、支付、验证或账户管理元素，但也出现在欺诈流程中。通过对九个网络代理进行评估，结果显示当前代理能够检测可疑线索，但在保持良性召回方面存在困难，且常常产生与观察证据支持较弱的正预测。这些发现使FraudSMSWalker成为衡量网络代理在抑制直接声誉捷径时，是否能够做出准确且基于证据的欺诈判断的基准。
🔬 方法详解
问题定义：本文旨在解决SMS到网页欺诈检测中的评估不足，现有方法往往依赖于显性的URL和域名线索，导致模型无法真实评估欺诈风险。
核心思路：FraudSMSWalker通过掩蔽URL和相关元数据，提供一个更具挑战性的环境，以测试模型在没有声誉捷径的情况下的判断能力。
技术框架：整体架构包括SMS上下文输入和清理后的网页证据，模型在此基础上进行欺诈判断，评估其准确性和基于证据的能力。
关键创新：最重要的创新在于引入了URL掩蔽的评估机制，使得模型必须依赖于SMS与网页内容的实际一致性，而非声誉信息。
关键设计：在实验中，设计了多种难度的良性案例，确保模型在面对看似合理的网页时，仍需准确判断其欺诈性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的网络代理在检测可疑线索方面表现出色，但在保持良性召回率上存在显著挑战，正预测的支持证据往往较弱。这一发现强调了FraudSMSWalker作为评估工具的重要性，能够推动更准确的欺诈检测技术的发展。
🎯 应用场景
该研究的潜在应用领域包括网络安全、金融服务和电子商务等行业，能够帮助企业更有效地识别和防范SMS欺诈行为。通过提供更准确的欺诈检测工具，能够降低用户风险，提升用户信任度，具有重要的实际价值和未来影响。
📄 摘要（原文）
SMS fraud is increasingly cross-channel: a message directs the user to a webpage, and the final risk depends on how the SMS claim aligns with the page content and requested user action. However, existing evaluations either focus on message-only smishing classification or expose URL and domain cues that allow models to rely on reputation shortcuts. To address this gap, we introduce \textbf{FraudSMSWalker}, a controlled benchmark for URL-masked SMS-to-webpage fraud judgment. FraudSMSWalker contains 699 bilingual chains, including 332 fraudulent and 367 benign cases, across ten service scenarios. The model-visible input consists of the SMS context and sanitized webpage evidence, while raw URLs, hosts, domains, IPs, redirects, and reputation metadata are withheld. The benchmark further includes hard benign cases whose pages contain login, payment, verification, or account-management elements that are plausible under the service context but also appear in scam flows. We evaluate nine web agents under masked browser-agent protocols and conduct URL-visibility ablations. The results show that current agents can detect suspicious cues, but struggle to preserve benign recall and often produce positive predictions that are weakly supported by the observed evidence. These findings position FraudSMSWalker as a benchmark for measuring whether web agents can make fraud judgments that remain both accurate and evidence-grounded when direct reputation shortcuts are suppressed. The associated code and dataset are accessible at the \href{https://anonymous.4open.science/w/FraudMessageWalker-Bench}{anonymous link}.