Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

📄 arXiv: 2610.35138v1 📥 PDF

作者: Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li, Ziyu Liu, Yuhang Zang, Weixiang Yu, Cheng Lu, Chonggao Sun, Tong Zhou, Dahua Lin, Hang Zhang, Shuai Bai, Dayiheng Liu

分类: cs.AI

发布日期: 2026-10-26

备注: Project page: https://codesignbench.github.io/

💡 一句话要点

提出Co-Design Bench以评估人机协作编码能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 编码代理 多模态请求 基准测试 任务评估 智能编程 模型性能

📋 核心要点

  1. 现有方法在评估人机协作编码时，缺乏有效的基准和标准，难以衡量编码代理的实际能力。
  2. 论文提出Co-Design Bench，通过273个多模态任务来评估编码代理的能力，涵盖多种输入和编辑类型。
  3. 实验结果显示，最强模型在任务标准的通过率为69.9%，但完全满足率仅为26.4%，揭示了当前模型的局限性。

📝 摘要（中文）

评估人机协作设计需要测试编码代理是否能够将真实用户的多模态请求转化为有效的应用程序修订。我们引入Co-Design Bench，这是一个无参考基准，包含273个任务，来源于26,314个真实用户编码会话中的37,463个去重查询。其包含两个轨道：多模态编辑（ME）和代码库编辑（RE），涵盖了带有可选图像、音频、视频或文档输入的局部编辑和协调的代码库修订。任务跨越三个能力维度：基础理解、用户界面转化和功能实现。任务配对了标准化请求和可运行的预编辑应用程序，并附有2,331个隐藏的专家编写的接受标准。我们的评判-反驳协议使用源和浏览器证据对标准进行评分，并通过单独的LLM验证器挑战积极的裁决，审计视觉和交互声明，而无需黄金代码或目标截图。在共享的代理框架下，十个模型端点中最强的一个在每个任务中平均通过69.9%的标准，但仅完全满足26.4%的任务。所有十个端点在跨越三种或四种变更类型的代码库编辑上的标准完成率低于在跨越一种或两种变更类型的编辑上的完成率。Co-Design Bench为研究部分需求满足与在真实用户应用修订下的完整任务成功之间的差距提供了测试平台。

🔬 方法详解

问题定义：本论文旨在解决现有方法在评估人机协作编码中的不足，尤其是缺乏有效的基准和标准来衡量编码代理的能力。现有方法难以处理多模态请求和复杂的应用程序修订。

核心思路：论文的核心思路是通过构建一个无参考的基准测试平台Co-Design Bench，来系统性地评估编码代理在处理真实用户多模态请求时的能力。通过设计多样化的任务，能够更全面地反映模型的实际表现。

技术框架：Co-Design Bench的整体架构包括两个主要轨道：多模态编辑（ME）和代码库编辑（RE）。每个轨道下的任务设计涵盖了不同的输入类型和编辑需求，任务配对了标准化请求和可运行的预编辑应用程序，并附有专家编写的接受标准。

关键创新：最重要的技术创新在于引入了评判-反驳协议，该协议通过源和浏览器证据对任务标准进行评分，并利用LLM验证器挑战积极裁决，确保评估的客观性和准确性。

关键设计：在任务设计中，设置了2,331个隐藏的专家接受标准，任务跨越基础理解、用户界面转化和功能实现三个维度，确保了评估的全面性和深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最强模型在每个任务中平均通过69.9%的标准，但完全满足率仅为26.4%。此外，模型在处理跨越三种或四种变更类型的代码库编辑时，标准完成率显著低于处理单一或双变更类型的任务，揭示了模型在复杂任务上的局限性。

🎯 应用场景

该研究的潜在应用领域包括人机协作编程工具、智能编程助手和教育技术等。通过提供一个标准化的评估平台，能够帮助开发者和研究人员更好地理解和改进编码代理的性能，推动智能编程技术的发展。

📄 摘要（原文）

Evaluating human-AI co-design requires testing whether coding agents can translate real users' multimodal requests into working application revisions. We introduce Co-Design Bench, a reference-free benchmark of 273 tasks curated from 37,463 deduplicated queries across 26,314 real user coding sessions. Its two tracks, Multimodal Editing (ME) and Repository Editing (RE), cover localized edits with optional image, audio, video, or document inputs and coordinated repository revisions. Tasks span three capability dimensions: Grounded Understanding, UI Transformation, and Functional Implementation. The tasks pair normalized requests and runnable pre-edit applications with 2,331 hidden expert-authored acceptance criteria. Our judge-then-refute protocol grades criteria using source and browser evidence, challenges positive verdicts with a separate LLM verifier, and audits visual and interaction claims without gold code or target screenshots. Under a shared agentic harness, the strongest of ten model endpoints passes an average of 69.9% of criteria per task but fully satisfies only 26.4% of tasks. All ten endpoints achieve lower criterion completion on repository edits spanning three or four change types than on those spanning one or two. Co-Design Bench provides a testbed for studying the gap between partial requirement satisfaction and complete task success under agentic execution for real-user application revisions.