Catalyzing Interactive HTML Generation Capabilities via High-Fidelity Reinforcement Learning

📄 arXiv: 2611.05151v1 📥 PDF

作者: Xujia Wang, Yixuan Liu, Shaohan Huang, Furu Wei, Lei Hou, Bin Xu, Juanzi Li

分类: cs.AI

发布日期: 2026-11-03

备注: 38 pages, 21 figures

💡 一句话要点

提出WebCatalyst框架以解决交互式HTML生成中的功能与视觉质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交互式HTML生成 强化学习 视觉质量 奖励机制 信用分配 网页设计 自动化工具

📋 核心要点

  1. 现有的HTML生成模型在交互过程中常常无法保证功能性和视觉质量，存在明显的局限性。
  2. 论文提出WebCatalyst框架，通过引入游戏级GUI评估器、Visual Anchor和Action-Trace Credit来优化交互体验和奖励机制。
  3. 实验结果显示，WebCatalyst在多个基准测试中显著提升了性能，Cookie-Bench Mini Games得分从68.8提升至75.3，WebGen-Bench准确率从48.8提升至56.9。

📝 摘要（中文）

从自然语言规范生成HTML是代码大型语言模型（LLMs）的重要应用。尽管现有模型能够生成可渲染的页面，但在实际交互中往往无法确保功能性和视觉质量。现有方法通常针对特定任务的网页监督，未能深入探讨交互工件优化。本文通过迷你游戏作为测试平台，揭示了交互体验、奖励信号和信用分配的局限性。我们提出了WebCatalyst，一个包含游戏级GUI评估器、Visual Anchor和Action-Trace Credit的浏览器交互强化学习框架。经过训练，WebCatalyst在Cookie-Bench Mini Games和WebGen-Bench上显著提高了性能，展示了提高反馈保真度是推动交互式HTML生成的关键。

🔬 方法详解

问题定义：本文旨在解决现有HTML生成模型在实际交互中功能性和视觉质量不足的问题。现有方法主要集中于特定任务的网页监督，未能有效优化交互体验。

核心思路：论文的核心思路是通过强化学习框架WebCatalyst，结合多种评估和奖励机制，提升交互过程中的反馈质量，从而改善生成的HTML页面的功能性和视觉效果。

技术框架：WebCatalyst框架包含三个主要模块：游戏级GUI评估器用于持续交互和评估，Visual Anchor用于防止视觉语言模型的奖励操控，Action-Trace Credit用于在运行时执行轨迹中进行基于令牌的信用分配。

关键创新：最重要的创新点在于引入了Visual Anchor和Action-Trace Credit，这两者有效地解决了现有方法在奖励信号和信用分配上的不足，确保了生成内容的质量和功能性。

关键设计：在设计上，WebCatalyst框架使用了少于1000个请求进行训练，主要集中在游戏领域。通过优化奖励信号和信用分配，显著提升了生成内容的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WebCatalyst在Cookie-Bench Mini Games得分从68.8提升至75.3，WebGen-Bench准确率从48.8提升至56.9，超越了Claude Opus 4.7，展示了显著的性能提升，尤其是在交互体验和功能性方面。

🎯 应用场景

该研究的潜在应用领域包括网页设计、游戏开发和教育技术等。通过提高交互式HTML生成的质量，WebCatalyst能够为开发者提供更高效的工具，促进用户体验的提升，未来可能在自动化网页生成和智能助手等领域发挥重要作用。

📄 摘要（原文）

Generating HTML from natural-language specifications is an important application of code large language models (LLMs). Despite producing renderable pages, current models often fail to ensure functionality and visual quality during actual interaction. Existing methods typically target task-specific webpage supervision, leaving demanding interactive artifact optimization underexplored. Using mini-games as a challenging testbed, we expose limitations in interaction experience, reward signal, and credit assignment fidelity that are obscured by shallow webpage interactions. We introduce WebCatalyst, a browser-interaction reinforcement learning framework with three complementary components: a game-level GUI assessor for sustained interaction and evaluation, Visual Anchor for mitigating VLM reward hacking, and Action-Trace Credit for grounding token-level credit assignment in runtime execution traces. Trained on fewer than 1K requests, predominantly for games, WebCatalyst raises the Cookie-Bench Mini Games score from 68.8 to 75.3 and also the WebGen-Bench accuracy from 48.8 to 56.9 on Qwen3.6-35B-A3B, outperforming Claude Opus 4.7 in average rank across evaluated metrics. Further analysis shows that Visual Anchor prevents aesthetic degradation, while runtime-grounded credit assignment accelerates functional improvement. Together, our results show that improving feedback fidelity is the key to substantially advancing interactive HTML generation.