Uncovering the Turing Test's Latent Signal: Indistinguishability as a Reward
作者: Emanuele Rimoldi, Riccardo Neumarker, Tomaso Poggio, Daniel Mitropolsky
分类: cs.AI
发布日期: 2026-10-26
备注: 26 pages, 9 figures
💡 一句话要点
提出基于图灵测试的自我归属概率作为强化学习奖励机制
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图灵测试 自我归属 强化学习 教师-学生模型 自然语言处理 智能问答 模型训练
📋 核心要点
- 现有方法在训练模型时通常依赖于真实答案，限制了模型的学习能力和灵活性。
- 论文提出了一种新颖的教师-学生训练范式，通过自我归属概率作为奖励，避免了对真实答案的依赖。
- 实验结果显示，学生模型在多个领域的独立评估中均表现出显著提升，验证了方法的有效性。
📝 摘要（中文）
本文探讨了模型是否可以通过试图欺骗另一个模型来学习。我们提出了一种基于领域的教师-图灵测试，其中强教师模型既是模仿目标也是区分者，而弱学生模型则训练以使教师将响应归因于自身。我们利用这种自我归属概率作为强化学习的奖励，而无需提供学生的真实答案或要求教师生成响应。我们在四个具有可验证答案的领域独立测试了该方法，结果显示学生在所有领域的独立评估中均有所提升，表明自我归属与正确性相关，且可以作为学习机制。
🔬 方法详解
问题定义：本文旨在解决现有模型训练中对真实答案依赖的问题，限制了模型的学习能力和灵活性。
核心思路：我们提出了一种基于图灵测试的自我归属概率作为强化学习的奖励机制，允许学生模型通过模仿教师模型进行学习，而无需真实答案。
技术框架：整体架构包括强教师模型和弱学生模型，教师模型负责生成响应并作为区分者，学生模型则通过自我归属概率进行训练。
关键创新：最重要的创新在于将自我归属概率引入强化学习奖励机制，使得学生模型能够在没有真实答案的情况下进行有效学习。
关键设计：在训练过程中，使用DeepSeek V4 Flash作为教师模型，Qwen2.5-1.5B作为学生模型，设计了相应的损失函数和训练参数，以优化自我归属概率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，学生模型在CommonsenseQA、GSM8K、KodCode和Spider等四个领域的独立评估中均表现出显著提升，验证了自我归属概率作为学习机制的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高模型的学习能力和灵活性，未来可在更复杂的任务中实现更高的性能，推动人工智能的进一步发展。
📄 摘要（原文）
Can a model learn by trying to fool another model? We show that it can. Inspired by the Turing Test and its recent generalization to arbitrary distinguishers, we introduce a domain-based teacher-Turing-Test, in which a stronger teacher model serves as both the target of imitation and the distinguisher, and a weaker student model is trained to make the teacher attribute responses to itself. We use this self-attribution (or fooling) probability as a reinforcement learning reward, without ever providing the student ground-truth answers, nor requiring the teacher to generate responses. We test our approach independently in four domains with verifiable answers: CommonsenseQA (reasoning), GSM8K (mathematics), KodCode (programming), and Spider (SQL), training a Qwen2.5-1.5B student/imitator model using DeepSeek V4 Flash as teacher/distinguisher. Beyond improving at passing the Turing Test, the student improves on independent, held-out evaluations in all domains and runs. To probe why being mistaken for the teacher can improve capability, our analyses reveal that self-attribution is associated with correctness -- substantially more than formatting changes -- and that it rewards partial correctness. Our results demonstrate a new, simple teacher-student training paradigm with a private and/or high-cost teacher. They also suggest that indistinguishability need not merely measure behavior -- it can also be a mechanism for learning.