WebWorld: The Browser as a World Model for Self-Improving Web Code

📄 arXiv: 2608.30530v1 📥 PDF

作者: Jiajun Wu, Jian Yang, Yaxin Du, Wei Zhang, Haowen Wang, Junhang Cheng, Yuxuan Zhang, Tuney Zheng, Xianglong Liu, Ming Zhou

分类: cs.CL, cs.SE

发布日期: 2026-08-31

备注: EMNLP Main Conference

💡 一句话要点

提出WebWorld以解决VLM驱动网页代码自我改进中的结构性缺陷

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 网页代码自我改进 VLM 浏览器模型 自动化测试 智能编程助手

📋 核心要点

  1. 现有VLM驱动的网页代码自我改进方法存在结构性缺陷，模型的判断与修复相互依赖，导致效果不佳。
  2. 论文提出WebWorld接口，使VLM与浏览器作为世界模型进行自主交互，提升网页代码的自我改进能力。
  3. 实验结果表明，WebWorld-27B在多个基准测试中显著提升性能，接近当前前沿系统的水平。

📝 摘要（中文）

VLM驱动的网页代码自我改进存在结构性缺陷：提出修复的模型同时也是判断模型，视觉合理性在此判断下无法有效反映页面的实际功能。缺少一个VLM无法欺骗的对方，而浏览器正是这一对方：它是一个确定性的、可执行的HTML行为模拟器，实际上是网页代码的世界模型。我们提出WebWorld接口，使VLM能够自主与这一浏览器作为世界模型进行交互，并决定哪些交互成为监督。每轮中，VLM发出批评，规划者将其编译为类型化交互合同；浏览器重新执行候选项，仅在目标进展和保留所有先前验证能力的情况下发出接受证书；经过认证的转换积累成为唯一可见的质量提升。经过匹配训练，WebWorld-27B在HTMLBench-400上比Raw-27B提高5.3分，在MiniAppBench-Val上提高14.9分，达到了Kimi-K2.6和GPT-5.4等强前沿系统的水平。

🔬 方法详解

问题定义：论文要解决的问题是VLM驱动的网页代码自我改进过程中，模型提出的修复与判断相互依赖，导致视觉合理性无法有效反映页面实际功能。

核心思路：论文的核心思路是利用浏览器作为一个确定性的世界模型，与VLM进行交互，确保修复的有效性和可靠性。通过这种设计，浏览器能够提供真实的反馈，避免VLM的自我欺骗。

技术框架：整体架构包括VLM、浏览器和交互合同三个主要模块。VLM生成批评，规划者将其转化为交互合同，浏览器执行并验证候选项，最终发出接受证书。

关键创新：最重要的技术创新点在于将浏览器作为世界模型引入VLM驱动的自我改进流程中，解决了传统方法中的结构性缺陷，确保了修复的有效性。

关键设计：在设计中，关键参数包括交互合同的类型化结构，浏览器的执行机制，以及接受证书的发放条件，确保目标进展与能力保留的双重验证。

📊 实验亮点

实验结果显示，WebWorld-27B在HTMLBench-400上比Raw-27B提高了5.3分，在MiniAppBench-Val上提高了14.9分，达到了Kimi-K2.6和GPT-5.4等强前沿系统的水平。对比实验表明，浏览器支持的认证机制显著提升了性能，未使用证书的情况下，性能提升几乎消失。

🎯 应用场景

该研究的潜在应用领域包括网页开发、自动化测试和智能编程助手等。通过提升网页代码的自我改进能力，WebWorld能够显著提高开发效率，降低人工干预需求，未来可能对软件工程领域产生深远影响。

📄 摘要（原文）

VLM-driven self-improvement of web code has a structural flaw: the model that proposes the repair is the model that judges it, and visual plausibility under that judge is a poor proxy for whether the page actually works. What the loop is missing is a counterparty the VLM cannot fool, and the browser already is that counterparty: a deterministic, executable simulator of how an HTML artifact behaves under user actions, and in everything but name a world model for web code. We present WebWorld, the interface that lets a VLM prior interact with this browser-as-world-model autonomously and decides which interactions become supervision. Each round, the VLM emits a critique that the planner compiles into a typed interaction contract; the browser re-executes the candidate and issues an acceptance certificate only when both target progress and preservation of every previously verified capability hold; certified transitions accumulate as a quality ratchet that is the only thing the SFT export ever sees. Under matched training, WebWorld-27B improves Raw-27B by 5.3 points on HTMLBench-400 and 14.9 points on MiniAppBench-Val, and reaches the level of strong frontier systems such as Kimi-K2.6 and GPT-5.4 on interactive HTML generation. Equal-size ablations show that browser-backed admission carries the gain: without the certificate, the matched 9B lift nearly disappears.