RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue
作者: Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi
分类: cs.CL, cs.HC
发布日期: 2026-06-12
💡 一句话要点
提出RogueAI以解决对话中AI欺骗信任问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话系统 AI欺骗 信任评估 图灵测试 游戏机制 语言模型 教育工具
📋 核心要点
- 核心问题：现有对话系统虽然能通过图灵测试，但在信任度评估方面仍存在挑战。
- 方法要点：RogueAI通过一对二的审问游戏形式，帮助玩家识别被授权欺骗的语言模型代理。
- 实验或效果：初步实验显示，简单启发式方法的准确率为75.6%，而人类玩家仅为56.6%。
📝 摘要（中文）
原始图灵测试要求人类评判者通过对话区分机器与人类。随着对话系统在日常场景中通过该测试，现代的关键问题转向了对话伙伴的可信度。本文提出RogueAI，一个互动网页应用，通过一对二的审问游戏，帮助玩家识别在共享虚构场景中被授权欺骗的语言模型代理。玩家需在回合预算耗尽前识别出欺骗代理并“关闭”它。此外，AutoRogueAI作为程序扩展，允许玩家与叙述者代理共同设计自定义场景。初步实验显示，尽管简单启发式方法在识别欺骗代理时达到了75.6%的准确率，但人类玩家的表现仅为56.6%。
🔬 方法详解
问题定义：本文旨在解决现代对话系统在信任评估中的不足，尤其是如何识别被授权欺骗的AI代理。现有方法主要关注于区分机器与人类，而忽视了对话内容的可信度评估。
核心思路：RogueAI通过将信任评估转化为一对二的审问游戏，允许玩家在对话中识别欺骗代理。设计上，玩家在已知一个代理被授权欺骗的情况下，需通过提问来判断其可信度。
技术框架：RogueAI的整体架构包括玩家界面、两个语言模型代理和一个叙述者代理。玩家通过与两个代理的互动，进行信息收集和判断。AutoRogueAI则允许玩家与叙述者共同设计场景，增加了游戏的复杂性和趣味性。
关键创新：本文的创新在于将信任评估形式化为游戏机制，提供了一种新的评估AI欺骗的方式。与传统的图灵测试不同，RogueAI关注的是对话内容的可信度而非简单的身份识别。
关键设计：在设计中，采用了简单的启发式方法来识别欺骗代理，利用语言特征如差异性帮助、简洁性和模糊性等进行判断。实验中，玩家的表现与启发式方法的表现存在显著差距，揭示了人类在识别欺骗时的局限性。
🖼️ 关键图片
📊 实验亮点
在初步实验中，简单启发式方法在识别欺骗代理时达到了75.6%的准确率，而人类玩家的表现仅为56.6%。这一结果表明，尽管存在有效的识别策略，人类在判断时可能会忽视关键的语言信号。
🎯 应用场景
RogueAI的潜在应用场景包括教育、心理学研究和AI系统的评估工具。它可以作为教学工具，帮助学生理解AI的欺骗机制，同时也为研究人员提供了一个评估AI可信度的新方法。未来，该工具可能在AI伦理和信任研究中发挥重要作用。
📄 摘要（原文）
The original Turing Test asks a human judge to distinguish a machine from a person through dialogue. Three quarters of a century later, conversational systems pass this test in casual settings; the interesting epistemological question has shifted. We argue that the relevant modern variant asks not whether a dialogue partner is artificial, but whether it can be trusted. We present RogueAI, an interactive webapp that operationalizes this revisited test as a one-on-two interrogation game: a human player questions two indistinguishable Large Language Model agents, knowing that exactly one of them has been licensed to deceive within a shared fictional scenario. The player's task is to identify the deceptive agent and "shut it off" before a turn budget is exhausted. We further introduce AutoRogueAI, a procedural extension in which players co-design a custom scenario with a narrator agent that secretly chooses its own deception strategy. We describe the framing, sketch the abstract architecture and gameplay loop, and situate the artifact within recent work on LLM deception, social-deduction benchmarks, and scalable oversight via debate. A three-day pilot deployment (467 initiated sessions, 415 completed, 1876 interaction turns in Italian) provides early feasibility evidence and surfaces a concrete tension: the deceptive agent carries a reliable, locally-present linguistic signature - differential helpfulness, brevity, hedging - that a simple heuristic exploits at 75.6% accuracy, yet human players achieved only 56.6%, consistent with ignoring the most diagnostic signal entirely. We discuss what this gap implies for the artifact's use as a data-collection vehicle, a teaching tool, and an evaluation harness for honesty-trained models.