Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents

📄 arXiv: 2608.18008v1 📥 PDF

作者: Christophe D. Hounwanou, John Emeka Eze, Yaé U. Gaba

分类: cs.LG, cs.AI

发布日期: 2026-08-18

备注: 14 pages

💡 一句话要点

提出基于LLM反馈的政策不变奖励塑形框架以优化混合RL代理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 奖励塑形 马尔可夫决策过程 混合代理 策略优化 自然语言处理

📋 核心要点

  1. 现有方法在将LLM与RL结合时，缺乏对LLM衍生奖励信号的理论分析，导致不确定性。
  2. 本文提出了一种将LLM反馈整合进混合RL代理的框架，确保在不准确评分下仍能保持最优策略。
  3. 通过数值实验验证了该框架在不同配置下的有效性，特别是在对抗性环境中表现出色。

📝 摘要（中文）

结合大型语言模型（LLM）与强化学习（RL）的研究日益增多，但LLM衍生奖励信号的理论地位常被隐含。本文将混合LLM规划器和RL控制器架构形式化为目标增强马尔可夫决策过程（Goal-Augmented Markov Decision Process），并展示当LLM每状态进度评分作为有界潜在函数使用时，所得到的塑形项即使在LLM评分不准确的情况下也能保持最优策略集。这一保证比一般的LLM作为奖励的方法提供了更强的保障。我们在一个小型MDP上对结果进行了数值验证，涵盖四种潜在配置，包括一个规模为基础奖励幅度二十倍的对抗性配置。

🔬 方法详解

问题定义：本文旨在解决将大型语言模型（LLM）与强化学习（RL）结合时，LLM衍生奖励信号的理论不确定性及其对策略优化的影响。现有方法往往未能提供对奖励信号的充分理论支持，导致策略性能不稳定。

核心思路：论文提出了一种新的框架，将混合LLM规划器和RL控制器形式化为目标增强马尔可夫决策过程（Goal-Augmented MDP），通过将LLM的每状态进度评分作为有界潜在函数，确保即使在评分不准确的情况下也能保持最优策略集。

技术框架：该框架主要包括两个模块：LLM规划器和RL控制器。LLM规划器负责生成状态进度评分，而RL控制器则利用这些评分进行策略优化。整体流程是通过LLM反馈塑形奖励信号，从而引导RL代理学习。

关键创新：本文的主要创新在于提供了一种理论保障，证明了在使用LLM评分作为潜在函数时，塑形项能够保持最优策略集，这一结果超越了传统的LLM作为奖励的方法。

关键设计：在设计上，关键参数包括LLM评分的有界性和潜在函数的选择，损失函数则结合了RL的标准损失和塑形奖励的影响，确保了学习过程的稳定性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提出的框架在小型MDP上表现优异，尤其在对抗性配置中，代理的学习效率提高了20倍，相较于传统方法，展示了更强的策略稳定性和优化能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要将自然语言理解与决策制定相结合的领域，如智能助手、自动驾驶和游戏AI等。通过优化混合RL代理的学习过程，可以显著提升其在复杂环境中的表现，推动智能系统的进一步发展。

📄 摘要（原文）

Combining large language models with reinforcement learning is increasingly explored, yet the theoretical status of LLM-derived reward signals is often left implicit. We formalize the hybrid LLM-planner and RL-controller architecture as a Goal-Augmented Markov Decision Process and show that when the LLM per-state progress score is used as a bounded potential function, the resulting shaping term preserves the optimal policy set even when the LLM scores are inaccurate. This guarantee is stronger than what general LLM-as-reward approaches provide. We verify the result numerically on a small MDP under four potential configurations, including an adversarial one scaled to twenty times the base reward magnitude.