Progressive Content Refinement with Decaying Reward Joint LinUCB

📄 arXiv: 2608.06750v1 📥 PDF

作者: Shion Ishikawa, Pablo Loyola, Young-joo Chung, Yun Ching Liu

分类: cs.CL, cs.AI

发布日期: 2026-08-07

💡 一句话要点

提出一种衰减奖励联合LinUCB算法以解决过度利用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文赌博 奖励衰减 期望最大化 线性上置信界 迭代精炼 大语言模型 性能优化

📋 核心要点

  1. 现有方法在处理奖励衰减时存在不足，导致过度利用和奖励逐渐减小的问题。
  2. 本文提出了一种新型的上下文赌博算法，结合了奖励衰减建模和期望最大化算法，优化了臂的选择过程。
  3. 实验结果显示，该方法在多个基准测试中显著优于传统基线，验证了其有效性和实用性。

📝 摘要（中文）

迭代精炼显著提升了大型语言模型（LLM）的性能，但现有方法如基于反馈的自我精炼和传统的赌博算法往往依赖静态选项或忽视饱和效应，导致过度利用。为了解决这一挑战，本文提出了一种新颖的上下文赌博算法，明确纳入奖励衰减建模。通过使用期望最大化（EM）算法，我们的方法同时估计臂特定和衰减参数。此外，通过将提示嵌入为臂，我们促进了臂值的联合学习，区别于传统的分离线性上置信界（LinUCB）框架。在情感反转和GSM8K基准上的实验结果表明，我们的方法在强基线之上取得了显著的性能提升。最后，消融研究确认了在赌博框架中整合奖励衰减建模对于缓解过度利用和优化迭代精炼过程的重要性。

🔬 方法详解

问题定义：本文旨在解决现有上下文赌博算法在奖励衰减建模方面的不足，特别是如何避免过度利用相同的提示或臂导致的奖励下降问题。

核心思路：我们提出的算法通过期望最大化（EM）方法同时估计臂特定参数和衰减参数，从而动态调整臂的选择策略，避免了静态选项的局限性。

技术框架：整体架构包括奖励衰减建模模块和臂值联合学习模块。首先，通过EM算法获取臂的价值和衰减参数，然后在选择臂时综合考虑这些因素。

关键创新：本研究的主要创新在于将奖励衰减建模引入上下文赌博框架，并通过联合学习的方式优化臂的选择，这与传统的分离LinUCB方法形成鲜明对比。

关键设计：在参数设置上，我们设计了适应性衰减因子，并在损失函数中引入了奖励衰减项，以确保算法在迭代过程中能够有效调整策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的方法在情感反转和GSM8K基准测试中相较于强基线实现了显著的性能提升，具体提升幅度达到XX%（具体数据待补充），验证了奖励衰减建模的有效性。

🎯 应用场景

该研究的潜在应用领域包括在线推荐系统、个性化广告投放和动态内容生成等。通过优化臂的选择策略，能够有效提升用户体验和系统的整体性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Iterative refinement has significantly enhanced Large Language Model (LLM) performance; however, existing methods ranging from feedback-based Self-Refine to traditional bandit approaches often rely on static options or overlook the saturation effect. This neglect leads to over-exploitation, where the continuous use of identical prompts or arms results in diminishing rewards over time. To address this challenge, we propose a novel contextual bandit algorithm that explicitly incorporates reward decay modeling. Utilizing an Expectation-Maximization (EM) algorithm, our method simultaneously estimates both arm-specific and decay parameters. Furthermore, by embedding prompts as arms, we facilitate the joint learning of arm values, distinguishing our approach from the traditional disjoint Linear Upper Confidence Bound (LinUCB) framework. Experimental results on Sentiment Reversal and GSM8K benchmarks demonstrate that our method achieves significant performance gains over strong baselines. Finally, our ablation study confirms that the integration of reward decay modeling within the bandit framework is crucial for mitigating over-exploitation and optimizing the iterative refinement process.