Conservative Dueling Bandits: Preference Learning under Baseline Constraints
作者: Rohan Deb, Mohammad Ghavamzadeh, Arindam Banerjee
分类: cs.LG, cs.AI, stat.ML
发布日期: 2026-10-27
💡 一句话要点
提出保守对决赌博算法以解决用户偏好学习中的基线约束问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对决赌博 用户偏好学习 基线约束 安全性 效用差异
📋 核心要点
- 现有的对决赌博算法在探索过程中可能会向用户展示低质量的选项，导致用户体验不佳。
- 本文提出的保守对决赌博算法确保展示的选项得分高于可信基线的特定比例，从而提高了用户体验和安全性。
- 实验结果表明，所提算法在满足基线约束的情况下，后悔值相较于无约束算法有所降低，且保持了较高的安全性。
📝 摘要（中文）
上下文对决赌博算法通过成对比较进行学习，这种反馈机制也用于根据人类偏好微调语言模型。现有算法探索过于激进，可能向用户展示两个较差的选项。本文研究保守上下文对决赌博算法，要求在每一轮中，展示的更好项目的累积得分必须高于可信基线的(1-α)分数。该算法通过效用差异来定义得分约束，无需绝对奖励。我们提出的MaxInP-BC算法在处理线性效用时，通过效用差距来认证得分，并在必要时与信息丰富的合作伙伴配对，以确保学习过程的安全性。实验结果表明，所提算法在满足约束的同时，保持了较低的后悔值。
🔬 方法详解
问题定义：本文旨在解决上下文对决赌博算法在用户偏好学习中可能展示低质量选项的问题。现有算法在探索过程中可能导致用户体验下降，尤其是在需要遵循基线约束的情况下。
核心思路：提出的保守对决赌博算法要求在每一轮中，展示的更好项目的得分必须高于可信基线的(1-α)分数。通过效用差异来定义得分约束，避免了绝对奖励的需求，从而提升了安全性和用户体验。
技术框架：整体架构包括两个主要算法：MaxInP-BC和BTIGW-BC。MaxInP-BC专注于线性效用，通过效用差距认证得分；BTIGW-BC则针对一般效用类，将在线逻辑回归oracle的保证转化为累积安全证书。
关键创新：最重要的技术创新在于提出了保守性约束的概念，确保在展示选项时始终保持高于基线的得分，从而有效避免了用户体验的下降。与现有方法相比，该算法在安全性和后悔值上表现更优。
关键设计：在MaxInP-BC中，关键参数包括效用差距的计算和信息丰富的合作伙伴的选择；在BTIGW-BC中，设计了累积安全证书的生成机制，确保算法在多轮学习中保持安全性。
📊 实验亮点
实验结果显示，所提的保守对决赌博算法在满足基线约束的情况下，后悔值为$ ilde{O}(d ext{sqrt}{T}/κ)$，且附加的保守成本不随时间增长。与无约束算法相比，所提算法在保证安全性的同时，后悔值显著降低，展示了良好的实用性。
🎯 应用场景
该研究的潜在应用领域包括在线推荐系统、广告投放和个性化内容生成等。通过确保用户始终接收到高质量的选项，能够显著提升用户满意度和参与度，进而推动商业价值的增长。未来，该算法的设计理念也可扩展到其他需要用户偏好学习的场景中。
📄 摘要（原文）
Contextual dueling bandits learn from pairwise comparisons, the same feedback used to fine-tune language models from human preferences. Standard algorithms explore aggressively and can show users two poor options. We study conservative contextual dueling bandits, which require that, at every round, the cumulative score of the better displayed item stay above a $(1-α)$ fraction of a trusted baseline's. An item's score is its probability of beating the best available item, so the constraint depends only on utility differences and needs no absolute rewards. This also changes how safety can be certified: we show that transferring the safety test of the conservative bandit algorithm CLUCB unchanged can incur linear regret, even when the baseline's utilities are known exactly. For linear utilities, we develop MaxInP-BC, which certifies scores through utility gaps and, when it must fall back, pairs the baseline with an informative partner so that fallback rounds still drive learning. It is safe with high probability at all times, with regret $\tilde{O}(d\sqrt{T}/κ)$ plus an additive cost of conservatism that does not grow with the horizon. For general utility classes, we develop BTIGW-BC, which turns the guarantee of an online logistic-regression oracle into cumulative safety certificates. It is safe at all times, makes finitely many fallbacks, and has sublinear regret whenever the oracle's logistic regret is sublinear. In experiments, both satisfy the constraint, which their unconstrained counterparts often violate, at a moderate cost in regret.