Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development

📄 arXiv: 2609.02088v1 📥 PDF

作者: Yilong Guo, Hanqi Chen, Zixiao Ye, Guanzhong Wang, Chen Yu, Zeyu Chen

分类: cs.CV

发布日期: 2026-09-02

💡 一句话要点

提出RILA以解决交互网页开发中的功能验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交互网页生成 执行驱动 多模态学习 视觉保真度 用户体验

📋 核心要点

  1. 现有方法在生成交互网页时，主要关注视觉效果，缺乏对交互功能的有效验证，导致生成的网页可能无法正常工作。
  2. 本文提出RILA，通过将浏览器渲染纳入循环，利用运行时反馈迭代优化生成的代码，确保交互功能的有效性。
  3. 在IWR-Bench上，RILA显著提升了交互和视觉保真度，尤其是将Qwen3.5-9B的性能从40.40%提升至57.52%，超越了其他大型模型。

📝 摘要（中文）

多模态大型语言模型在前端网页开发中取得了显著进展，能够根据截图和交互视频生成交互式网页。然而，现有研究主要关注视觉指标，如美观和布局相似性，而忽视了交互功能的验证。本文提出了RILA，一个执行驱动的代理，将浏览器渲染纳入循环，基于运行时交互反馈迭代编辑生成的代码。RILA引入了动作交互验证（AIV）模块，通过在生成的网页上重放参考交互轨迹来收集基于执行的观察数据，并提出了执行感知渲染评分（ERS），共同衡量交互正确性和视觉保真度，以指导迭代优化。在IWR-Bench上，RILA在基础模型上持续提升了交互和视觉保真度。值得注意的是，通过我们的训练管道，RILA将紧凑的Qwen3.5-9B从40.40%提升至57.52%，超越了更大的一次性生成器，包括1T参数的Kimi-K2.6（55.61%）和专有的GPT-5.5（55.74%）。

🔬 方法详解

问题定义：本文旨在解决现有交互网页生成方法中对交互功能验证不足的问题。现有方法主要关注视觉美观和布局相似性，导致生成的网页在实际使用中可能存在交互功能缺失或错误。

核心思路：RILA的核心思想是将浏览器渲染过程纳入生成循环，通过实时的交互反馈来迭代优化代码，确保生成的网页不仅在视觉上美观，同时在交互功能上也能正常工作。

技术框架：RILA的整体架构包括两个主要模块：动作交互验证（AIV）模块和执行感知渲染评分（ERS）。AIV模块负责重放参考交互轨迹并收集执行感知观察数据，而ERS则用于评估交互的正确性和视觉保真度。

关键创新：RILA的主要创新在于引入了执行驱动的反馈机制，通过实时的交互验证来指导代码的迭代优化。这一方法与传统的仅依赖视觉指标的生成方法有本质区别。

关键设计：在设计上，RILA采用了特定的损失函数来平衡交互正确性和视觉保真度，同时在训练过程中构建了一个执行验证的数据合成管道，以生成多样化的高质量训练数据。该设计有效提升了模型的泛化能力和性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

RILA在IWR-Bench上的实验结果显示，交互和视觉保真度均有显著提升，特别是将Qwen3.5-9B的性能从40.40%提升至57.52%。这一提升超越了更大模型的表现，如Kimi-K2.6和GPT-5.5，展示了RILA在交互网页生成中的优势。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在前端网页开发、用户界面设计和交互式应用程序生成等领域。通过确保生成网页的交互功能有效性，RILA能够帮助开发者更高效地创建用户友好的应用，提升用户体验。未来，该技术可能会在自动化网页生成和智能开发工具中发挥重要作用。

📄 摘要（原文）

Multimodal large language models have achieved remarkable progress in front-end web development, generating interactive webpages from multimodal references such as screenshots and interaction videos. However, existing work largely emphasizes visual metrics such as aesthetics and layout similarity, while overlooking the more critical validation of interactive functionality. We present RILA, an execution-driven agent that puts browser rendering in the loop, iteratively editing generated code from runtime interaction feedback. RILA introduces an Action Interaction Verification (AIV) module that replays the reference interaction trajectory on the generated webpage to collect grounded execution-aware observations, and an Execution-aware Rendering Score (ERS) that jointly measures interaction correctness and visual fidelity to guide iterative optimization. We further build an execution-verified data synthesis pipeline that produces diverse, high-quality training data, offering gains complementary to inference-time optimization. On IWR-Bench, RILA consistently improves both interaction and visual fidelity across foundation models. Notably, with our training pipeline, RILA lifts the compact Qwen3.5-9B backbone from 40.40% to 57.52%, surpassing far larger one-shot generators, including the 1T-parameter Kimi-K2.6 (55.61%) and the proprietary GPT-5.5 (55.74%).