What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation
作者: Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger
分类: cs.AI, cs.CR
发布日期: 2026-07-29
备注: 17 pages (11 main + appendices), 7 figures. Accepted at the North East AI Agents Day 2026 workshop, Jane Street, New York City. Workshop: https://ne-agents-day.github.io/
💡 一句话要点
提出三类检测框架以区分人类、机器人和AI代理
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: AI代理检测 浏览器自动化 三类分类框架 行为特征 网络安全
📋 核心要点
- 现有的二元分类方法无法有效识别AI代理，导致误判率高达39.1%。
- 提出三类检测框架，明确区分人类、机器人和AI代理，解决了现有方法的结构性不足。
- 通过实验验证，使用两个行为特征实现100%的代理召回率，五个特征的宏观F1值提升至0.991。
📝 摘要（中文）
现有的机器人检测系统将流量视为二元分类：人类或机器人。然而，当AI代理通过浏览器自动化上网时，这一假设失效。本文提出了一种三类检测框架，能够有效区分人类、机器人和AI代理。通过在控制基准上进行实验，发现二元分类器在识别AI代理时存在显著误判，而引入明确的代理类别后，模型在所有实验中均实现了完美的代理识别率。研究还构建了一个五级规避梯度，以评估模型的规避抵抗能力，结果显示在22990次预测中未出现代理漏检。
🔬 方法详解
问题定义：本文旨在解决现有机器人检测系统无法有效识别AI代理的问题。传统的二元分类方法在面对AI代理时表现不佳，导致高误判率。
核心思路：提出一种三类检测框架，明确引入AI代理类别，以解决二元分类器的结构性缺陷。通过识别浏览器自动化的特征，增强对AI代理的检测能力。
技术框架：整体架构包括数据收集、特征提取和分类器训练三个主要模块。首先，通过浏览器自动化工具收集数据，然后提取行为特征，最后使用多层感知器（MLP）和SAINT变换器进行分类。
关键创新：最重要的创新在于引入了AI代理类别，使得检测系统能够有效区分三类流量。与传统方法相比，新的框架在识别率和准确性上有显著提升。
关键设计：在特征选择上，经过全面搜索，发现两个行为特征（鼠标事件率和瞬移点击比率）能够实现100%的代理召回率。五个特征的组合则使宏观F1值达到0.991，且特征冗余编码设计确保了检测的鲁棒性。特征选择的灵活性使得系统在不同的规避策略下依然保持高效。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用引入的AI代理类别后，模型在所有30次实验中实现了每类代理F1值为1.000。通过五级规避梯度测试，22990次预测中未出现代理漏检，展现出极高的检测准确性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、广告监测和用户行为分析等。通过准确识别AI代理，企业可以更好地保护其在线平台，防止恶意行为，并优化用户体验。未来，该框架还可扩展至其他类型的流量检测和分析。
📄 摘要（原文）
Bot detectors deployed at scale treat traffic as binary: human or bot. This assumption breaks when AI agents browse the web through browser automation, a traffic class that is neither and that binary classifiers structurally cannot represent. We present a three-class detection framework distinguishing humans, bots, and AI agents, and show that the binary-vs-agent confusion is architectural: a binary human-vs-bot detector misroutes agent sessions because its label space lacks an agent class. On our controlled benchmark, an MLP binary classifier misclassifies 39.1% of real AI agents as human and a SAINT binary transformer misclassifies 34.5%; adding an explicit agent class yields per-class agent F1 = 1.000 in all 30 runs (3 model families $\times$ 10 seeds). To measure evasion resistance, we construct a five-level evasion ladder spanning passive observation, GAN-generated trajectories, and replay of real human cursor data ($n = 2299$ evasion sessions). Across 10 seeds and 3 model families we observe zero agent misses in 22990 per-seed predictions. The discriminative signal is a browser-automation artifact, not evidence of agent reasoning: Playwright does not emit the raw pointer-move and wheel-delta streams a physical input device produces, and this absence signature survives trajectory manipulation. Exhaustive search over all feature subsets of size 1-5 (9401 GBMs) shows that two behavioral features (mouse_event_rate, teleport_click_ratio) give 100% observed agent recall at every evasion level with agent precision 0.994; five features lift macro-F1 to 0.991. The signal is redundantly encoded: removing teleport_click_ratio leaves agent detection at 100%. The single-feature regime is degenerate, flagging every agent only by collapsing the classifier to always predict "agent". Two features robustly isolate agents; five separate all three traffic classes at macro-F1 $\geq 0.99$.