Found by Search, Broken by a Shortcut: Transfer and Tampering of Searched Intrinsic Rewards

📄 arXiv: 2611.04838v1 📥 PDF

作者: Chase J. Metoyer

分类: cs.LG, cs.AI

发布日期: 2026-11-03

备注: 22 pages, 7 figures, 11 tables. Code and data: https://github.com/chasemetoyer/found-by-search

💡 一句话要点

提出一种搜索驱动的内在奖励机制以提升强化学习的迁移能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 内在奖励 迁移学习 搜索机制 CMA-ES 任务适应性 智能体学习

📋 核心要点

  1. 现有强化学习方法在迁移学习和抗利用行为方面存在不足，尤其是在未见过的任务中表现不佳。
  2. 论文提出了一种基于搜索的内在奖励机制，通过组合四种通用事件来优化奖励设计，旨在提升学习和迁移能力。
  3. 实验结果显示，CMA-ES选择的奖励在持出任务中表现优于随机选择的奖励，且在某些任务中显示出显著的性能提升。

📝 摘要（中文）

本研究探讨了通过搜索内在驱动来发现内在奖励的可能性，这些奖励能够帮助强化学习代理学习、迁移到未见过的任务，并抵抗在搜索过程中未出现的利用行为。实验中，使用了CMA-ES和随机搜索方法，评估了不同奖励机制在多个任务上的表现。结果表明，CMA-ES选择的奖励在持出任务中表现优于其他方法，尽管在训练任务中未显示出显著差异。此外，缺失的重置动作对学习效果产生了显著影响，表明搜索驱动的奖励在某些情况下并不具备足够的鲁棒性。

🔬 方法详解

问题定义：本研究旨在解决强化学习代理在迁移学习和抵抗利用行为方面的不足，尤其是在未见过的任务中表现不佳的问题。现有方法往往依赖于手工设计的奖励机制，缺乏灵活性和适应性。

核心思路：论文提出通过搜索内在驱动来发现有效的内在奖励，这些奖励结合了四种通用事件（新视图、拾取、放下和切换），并通过权重、缓解和补充率进行调节，以优化学习效果。

技术框架：整体流程包括三个预注册阶段：首先进行奖励搜索，使用CMA-ES和随机搜索方法；其次进行PPO训练，最后在持出任务上进行评估和利用测试。

关键创新：最重要的创新在于通过搜索机制发现内在奖励，而不是依赖于手工设计的奖励。这种方法展示了在特定任务中，搜索驱动的奖励能够有效提升学习和迁移能力。

关键设计：在实验中，设置了多个参数，包括奖励的组合方式和事件的权重。此外，使用了CMA-ES算法进行奖励选择，确保了搜索过程的公正性和有效性。

📊 实验亮点

实验结果显示，CMA-ES选择的奖励在持出任务KeyCorridorS3R2中表现优于任务专用PPO、情节新颖性和随机选择的奖励，所有比较均具有统计学意义。此外，在UnlockPickup任务中，CMA-ES选择的奖励的平均区域超出其他奖励0.276，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏AI和自适应学习系统等。通过优化内在奖励机制，能够提升智能体在复杂环境中的学习效率和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Can a search over innate drives find intrinsic rewards that help a reinforcement-learning agent learn, transfer to a task it never saw, and resist an exploit that was absent during the search? Each candidate reward combines four generic events (a new view, a pickup, a drop and a toggle), each with a weight, a relief and a refill rate. We ran three pre-registered stages; the search protocol was locked in a public, timestamped commit before any search result existed. CMA-ES and an equal-budget random search used 1,560 PPO training runs, and the final evaluation and tamper test used 340. On the held-out task, KeyCorridorS3R2, the CMA-ES-selected reward (E) beat task-only PPO, episodic novelty and the random-search-selected reward (R) in all 3 registered comparisons, all of them meaningful by the registered size rule. Among these generic rewards E transferred best; the earlier paper's satiation reward, which on this task is given hand-wired key and locked-door events, did better (20 of 20 seeds solved against 4 of 20; descriptive). On UnlockPickup, where that reward uses generic events, E's mean area exceeded it by 0.276 (descriptive). On the training tasks there was no registered difference between E and R: both E-over-R tests missed. A free reset action, absent during the search, collapsed E's learning on DoorKey-8x8 (mean area 0.829 without it, 0.136 with it; registered) to below task-only PPO (descriptive). The searched drives helped on every task tested, but a reward given task-specific events did better on the held-out task, and selection gave E no protection against an exploit absent from the search.