From Watching to Steering: Enabling Human-Coding Agent Collaboration through Execution Traces
作者: Xiaoke Yan, Jiaying Lei, Danqing Shi, Zichen Wang, Nan Cao
分类: cs.HC, cs.AI
发布日期: 2026-11-03
备注: 16 pages,10 figures
💡 一句话要点
提出Vibetrace以解决人机协作中的代码执行可视化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机协作 执行轨迹可视化 编码代理 技能提炼 软件开发 交互式系统
📋 核心要点
- 现有的编码代理在长时间执行过程中，用户难以检查、理解和引导其操作，影响了人机协作的效率。
- Vibetrace通过可视化执行轨迹、允许用户干预和提炼技能，建立了一种新的交互式人机协作模式。
- 在实验中，Vibetrace显著减少了输入令牌和成本，同时提高了通过率，用户体验也得到了改善。
📝 摘要（中文）
近年来，大型语言模型的进步使得编码代理能够自主执行复杂的软件开发任务，但其长时间执行过程的可检查性、可理解性和可引导性仍然存在困难。本文提出了Vibetrace，一个基于OpenCode的交互式执行轨迹可视化和干预系统，旨在促进人机协作。Vibetrace引入了观察、理解、干预和演化的人机协作范式。该系统不仅可视化代理工作流为交互式执行轨迹，便于检查操作、状态和失败，还允许用户从先前步骤分叉执行并提供针对性修正，而无需重新开始已验证的进度。此外，Vibetrace将轨迹和人类反馈提炼为可重用技能，以支持代理的持续演化。在SWE-bench Verified上，提炼的技能使输入令牌减少23.0%，成本降低15.5%，同时通过率从65.0%提高到68.0%。用户研究进一步表明，相较于传统的基于日志的交互，Vibetrace在准确性和效率上都有显著提升。
🔬 方法详解
问题定义：本文旨在解决用户在长时间执行的编码代理中难以检查和引导操作的问题。现有方法缺乏有效的可视化和干预机制，导致用户无法充分理解代理的执行过程。
核心思路：Vibetrace的核心思路是通过可视化执行轨迹和允许用户进行干预，增强人机协作的透明度和灵活性。该设计使用户能够在不重启进度的情况下，针对性地修正代理的行为。
技术框架：Vibetrace的整体架构包括三个主要模块：执行轨迹可视化模块、用户干预模块和技能提炼模块。执行轨迹可视化模块展示代理的工作流，用户干预模块允许用户从特定步骤分叉执行，而技能提炼模块则将用户反馈转化为可重用的技能。
关键创新：Vibetrace的主要创新在于引入了交互式执行轨迹可视化和用户干预机制，显著提升了用户对代理执行过程的理解和控制能力。这与传统的基于日志的交互方式形成了鲜明对比。
关键设计：在技术细节上，Vibetrace采用了特定的可视化算法来展示执行轨迹，并设计了用户友好的界面以便于干预。此外，技能提炼过程中使用了特定的损失函数来优化技能的有效性和可重用性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Vibetrace提炼的技能使输入令牌减少了23.0%，成本降低了15.5%，同时通过率从65.0%提升至68.0%。用户研究显示，Vibetrace在准确性和效率上均优于传统的基于日志的交互方式，证明了其在实际应用中的有效性。
🎯 应用场景
Vibetrace在软件开发、自动化测试和智能编程助手等领域具有广泛的应用潜力。通过提升人机协作的效率和准确性，该系统能够帮助开发者更好地理解和控制编码代理的行为，从而加速软件开发过程。未来，Vibetrace的理念和技术可以扩展到其他需要人机协作的智能系统中，推动更高效的工作流程。
📄 摘要（原文）
Recent advances in large language models (LLMs) have enabled coding agents to autonomously perform complex software development tasks, yet their long-running execution remains difficult for users to inspect, understand, and steer. We present Vibetrace, an interactive trace visualization and intervention system for agentic programming built upon OpenCode. Vibetrace introduces a human-agent collaboration paradigm of Observe, Understand, Intervene, and Evolve. It (1) visualizes agent workflows as interactive execution traces for inspecting actions, intermediate states, and failures; (2) enables users to fork execution from prior steps and provide targeted corrections without restarting validated progress; and (3) distills traces and human feedback into reusable skills for continual agent evolution. On SWE-bench Verified, distilled skills reduce input tokens by 23.0% and cost by 15.5%, while improving pass rate from 65.0% to 68.0%. User studies further demonstrate improved accuracy and efficiency over conventional log-based interaction.