When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On

📄 arXiv: 2603.05659v1 📥 PDF

作者: Wisdom Ikezogwo, Mehmet Saygin Seyfioglu, Ranjay Krishna, Karim Bouyarmane

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-03-05

💡 一句话要点

提出隐式错误计数(IEC)方法，解决虚拟试穿等参考答案缺失场景下的RL后训练问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟试穿 强化学习 无参考学习 错误计数 后训练

📋 核心要点

  1. 现有基于规则的强化学习方法依赖于理想参考答案，在虚拟试穿等存在多种有效输出的场景中表现不佳。
  2. 论文提出隐式错误计数(IEC)方法，通过枚举错误并赋予加权分数，将其转化为校准后的奖励信号，从而优化模型。
  3. 实验表明，在虚拟试穿任务中，IEC在MDressBench基准测试上优于现有方法，并在其他数据集上取得了可比或更好的结果。

📝 摘要（中文）

强化学习与可验证奖励(RLVR)和规则作为奖励(RaR)在具有明确正确性信号的领域取得了显著进展，甚至在主观领域中，通过从理想参考答案中合成评估标准也取得了进展。但是，许多实际任务允许多个有效输出，并且缺乏规则生成所依赖的单一理想答案。我们确定这种无参考设置是当前后训练方法中的一个差距，并提出隐式错误计数(IEC)来填补它。IEC不是检查响应相对于规则的正确性，而是枚举其错误之处，在任务相关轴上应用严重性加权分数，并将其转换为校准的每个方面的奖励。我们表明，朴素的显式枚举对于稳定优化来说过于嘈杂，并且两个设计选择：隐式分数发射和组校准对于使错误计数成为可靠的奖励是必要的。作为一个案例研究，我们在虚拟试穿(VTO)上验证了IEC，VTO领域同时受到整体评分的约束，并且对于基于规则的评估过于宽松：细微的服装错误是不可接受的，但许多输出变化是正确的。我们引入了级联错误计数(CEC)作为评估指标，它可以很好地跟踪人类偏好（60% top-1 vs. 30% others），并策划了Mismatch-DressCode(MDressBench)，这是一个具有最大属性不匹配的基准，用于压力测试奖励设计。在MDressBench上，IEC在所有指标上都优于RaR（CEC：平面参考为5.31 vs. 5.60；非平面参考为5.20 vs. 5.53）。在VITON-HD和DressCode上，IEC在8个感知指标中的6个上匹配或超过了6个基线。这些结果表明，当理想答案不可用时，计数错误比构建规则提供更强的信号。

🔬 方法详解

问题定义：论文旨在解决虚拟试穿(VTO)等任务中，由于缺乏单一理想参考答案，导致现有基于规则的强化学习方法无法有效进行后训练的问题。现有方法的痛点在于，它们依赖于明确的规则或参考答案来评估模型的输出，但在VTO等任务中，存在多种合理的输出，难以定义一个通用的规则。

核心思路：论文的核心思路是，与其试图定义一个理想的输出，不如关注输出中的错误。通过枚举模型输出中的错误，并根据错误的严重程度赋予不同的权重，可以将错误信息转化为奖励信号，用于强化学习的训练。这种方法避免了对理想参考答案的依赖，更适用于存在多种有效输出的场景。

技术框架：整体框架包括以下几个主要步骤：1) 模型生成虚拟试穿结果；2) 隐式错误计数模块对结果进行分析，枚举错误并计算加权错误分数；3) 将错误分数转化为奖励信号；4) 使用强化学习算法优化模型，使其减少错误。

关键创新：最重要的技术创新点是隐式错误计数(IEC)方法。与传统的基于规则的方法不同，IEC不需要预先定义明确的规则，而是通过学习的方式来识别和评估错误。此外，论文还提出了隐式分数发射和组校准等技术，以提高错误计数的稳定性和可靠性。

关键设计：论文的关键设计包括：1) 使用深度学习模型来隐式地学习错误特征；2) 设计了加权错误分数的计算方法，考虑了不同错误的严重程度；3) 采用了组校准技术，对错误分数进行归一化，使其具有可比性；4) 使用了强化学习算法，根据奖励信号优化模型参数。

📊 实验亮点

实验结果表明，在MDressBench基准测试中，IEC在所有指标上都优于RaR（CEC：平面参考为5.31 vs. 5.60；非平面参考为5.20 vs. 5.53）。在VITON-HD和DressCode数据集上，IEC在8个感知指标中的6个上匹配或超过了6个基线。这些结果表明，IEC在虚拟试穿任务中具有显著的优势。

🎯 应用场景

该研究提出的隐式错误计数方法具有广泛的应用前景，可以应用于各种缺乏明确参考答案的生成任务中，例如图像修复、文本生成、视频编辑等。该方法可以提高生成模型的质量和鲁棒性，使其能够更好地适应复杂和多变的环境。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) and Rubrics as Rewards (RaR) have driven strong gains in domains with clear correctness signals and even in subjective domains by synthesizing evaluation criteria from ideal reference answers. But many real-world tasks admit multiple valid outputs and lack the single ideal answer that rubric generation depends on. We identify this reference-free setting as a gap in current post-training methods and propose Implicit Error Counting (IEC) to fill it. Instead of checking what a response gets right against a rubric, IEC enumerates what it gets wrong, applying severity-weighted scores across task-relevant axes and converting them into calibrated per-aspect rewards. We show that naïve explicit enumeration is too noisy for stable optimization, and that two design choices: implicit score emission and group calibration are necessary to make error counting a reliable reward. As a case study, we validate IEC on virtual try-on (VTO), a domain that is simultaneously too constrained for holistic scoring and too permissive for rubric-based evaluation: subtle garment errors are unacceptable, yet many output variations are correct. We introduce Cascaded Error Counting (CEC) as an evaluation metric, which tracks human preferences well (60% top-1 vs. 30% others), and curate Mismatch-DressCode (MDressBench), a benchmark with maximal attribute mismatch to stress-test reward designs. On MDressBench, IEC outperforms RaR across all metrics (CEC: 5.31 vs. 5.60 on flat references; 5.20 vs. 5.53 on non-flat). On VITON-HD and DressCode, IEC matches or surpasses six baselines on 6 of 8 perceptual metrics. These results suggest that when ideal answers are unavailable, counting errors provide a stronger signal than constructing rubrics.