Rubric-to-Code Credit Assignment for Reinforcement Learning
作者: Rui Jin, Jikai Chen, Yihan Chen, Hao Zhou, Demin Zhu, Kaichen Yang, Dong Wang, Chenyi Zhuang
分类: cs.AI
发布日期: 2026-08-28
💡 一句话要点
提出Rubric-to-Code信用分配以解决交互式应用生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交互式应用生成 信用分配 强化学习 代码生成 功能标准 局部优化信号 模型评估 文本归因
📋 核心要点
- 现有方法在交互式网页应用生成中，无法有效处理多个功能需求的信用分配，导致生成代码质量不高。
- 本文提出RCCA框架，通过将功能反馈转化为局部优化信号，提升了代码生成的精准度和质量。
- 实验结果显示，Ling-RCCA-Flash在多个基准测试中显著提升性能，超越了现有的最优模型，展示了其有效性。
📝 摘要（中文）
交互式网页应用生成要求模型从自然语言请求中生成可用的HTML、CSS和JavaScript应用。与传统代码生成不同，应用质量依赖于多个用户面向的功能需求，这些需求通常与局部代码区域相关。标准的GRPO将这些结构化结果简化为单一的序列级奖励，导致信用分配的弱化。本文提出了Rubric-to-Code信用分配（RCCA）框架，将功能反馈转化为生成代码的局部优化信号。RCCA围绕明确的功能标准构建训练任务，使用分层奖励来区分格式、源代码、运行时和功能失败，并将评估者生成的文本归因与负责的代码片段和生成的标记对齐。最终模型Ling-RCCA-Flash在MiniAppBench上得分41.25，较Ling-3.0-Flash提升32.20分，并略微超越Claude Opus 4.5。在ArtifactsBench上得分76.19，较SFT模型提升4.48分，超越GPT-5得分3.64分，显示出可转移的实现级提升。
🔬 方法详解
问题定义：本文旨在解决交互式网页应用生成中的信用分配问题，现有方法如GRPO未能有效处理多功能需求的局部代码区域，导致生成质量下降。
核心思路：RCCA框架通过将功能标准转化为局部优化信号，允许模型根据具体功能反馈进行更精确的信用分配，从而提升生成代码的质量。
技术框架：RCCA的整体架构包括四个主要模块：功能标准定义、分层奖励机制、文本归因对齐和局部优化信号生成。每个模块协同工作，以实现更高效的代码生成。
关键创新：RCCA的核心创新在于其分层奖励机制和功能标准的明确性，使得模型能够针对不同类型的失败进行优化，而不是简单地应用统一的奖励信号。
关键设计：在设计中，RCCA使用了特定的损失函数来区分格式、源代码、运行时和功能失败，并通过评估者生成的文本归因来指导模型优化，确保生成的代码与功能需求紧密相关。
🖼️ 关键图片
📊 实验亮点
Ling-RCCA-Flash在MiniAppBench上得分41.25，较Ling-3.0-Flash提升32.20分，超越Claude Opus 4.5。在ArtifactsBench上得分76.19，较SFT模型提升4.48分，并超越GPT-5得分3.64分，显示出其在实际应用中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括自动化网页开发、智能助手和教育工具等。通过提升代码生成的质量，RCCA能够帮助开发者更高效地创建交互式应用，降低开发成本，并提高用户体验。未来，该技术可能在更广泛的编程语言和应用场景中得到推广，推动自动化编程的发展。
📄 摘要（原文）
Interactive web application generation requires models to produce usable HTML, CSS, and JavaScript applications from natural language requests. Unlike conventional code generation, application quality depends on multiple user-facing functional requirements, each often tied to localized code regions such as event handlers, state updates, DOM fragments, or CSS selectors. Standard GRPO collapses these structured outcomes into a single sequence-level reward and applies the resulting advantage uniformly to all tokens, weakening credit assignment. We propose \textbf{Rubric-to-Code Credit Assignment} (RCCA), a reinforcement learning framework that converts rubric-level functional feedback into localized optimization signals over generated code. RCCA builds training tasks around explicit functional rubrics, uses a hierarchical reward to separate format, source-code, runtime, and functional failures, and aligns evaluator-generated textual attributions with responsible code spans and generated tokens. The resulting model, \textbf{Ling-RCCA-Flash}, scores 41.25 on MiniAppBench, improving Ling-3.0-Flash by 32.20 points and slightly surpassing Claude Opus 4.5. It also reaches 76.19 on ArtifactsBench, improving the SFT model by 4.48 points and establishing a new top score under the official ArtifactsBench leaderboard setting by surpassing the GPT-5 score by 3.64 points, suggesting transferable implementation-level gains.