UA-ChatDev: Uncertainty-Aware Multi-Agent Collaboration for Reliable Software Development
作者: Temitayo Olamilekan Ogunsusi, Lijun Qian, Xishuang Dong
分类: cs.AI
发布日期: 2026-07-02
💡 一句话要点
提出UA-ChatDev以解决软件开发中的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性感知 多代理协作 软件开发 大型语言模型 自动化测试
📋 核心要点
- 现有软件开发方法假设所有代理输出的可靠性相同，导致错误信息传播，影响软件质量。
- UA-ChatDev通过引入不确定性感知机制，基于token级别的日志概率评估代理的响应信心，增强了代理间的互动。
- 实验结果显示，UA-ChatDev在多个指标上均优于现有框架，验证了不确定性感知交互对代码执行可靠性的提升。
📝 摘要（中文）
软件开发是一项复杂的任务，需要不同角色的代理之间的合作。大型语言模型（LLMs）使得自主多代理软件开发框架成为可能，但现有方法通常假设中间代理输出的可靠性相同，导致错误决策在早期阶段传播，影响最终软件质量。为了解决这一挑战，本文提出了UA-ChatDev，一个不确定性感知的多代理软件开发框架，集成了不确定性量化机制，基于token级别的日志概率评估代理响应的信心，并在不确定性超过可接受水平时触发基于检索的验证。大量实验表明，UA-ChatDev在完整性、可执行性、一致性和整体质量指标上均优于现有的单代理和多代理软件开发框架。
🔬 方法详解
问题定义：现有的多代理软件开发方法未能有效处理代理输出的不确定性，导致错误决策在开发过程中传播，从而影响最终软件的质量和可靠性。
核心思路：UA-ChatDev通过集成不确定性量化机制，评估代理响应的信心，并在不确定性过高时触发验证，从而提高软件开发的可靠性。
技术框架：UA-ChatDev的整体架构包括多个代理角色，采用轻量级的不确定性估计机制，结合基于检索的验证模块，确保在关键阶段进行必要的检查。
关键创新：该框架的主要创新在于引入了不确定性感知的交互方式，使得代理能够根据输出的信心进行动态调整，这与传统方法的静态假设形成鲜明对比。
关键设计：在设计中，采用了token级别的日志概率来量化不确定性，并通过阶段感知的阈值校准来决定何时进行验证，确保系统在高不确定性情况下的可靠性。
🖼️ 关键图片
📊 实验亮点
在SRDD基准测试中，UA-ChatDev在完整性、可执行性、一致性和整体质量指标上均显著优于现有的单代理和多代理框架，展示了不确定性感知交互的有效性，具体提升幅度未知。
🎯 应用场景
UA-ChatDev可广泛应用于软件开发领域，尤其是在需要多角色协作的复杂项目中。通过提高代理间的互动可靠性，该框架能够显著提升软件开发的整体质量，减少错误传播，未来可能推动更智能的开发工具和平台的出现。
📄 摘要（原文）
Software development is a complex task that demands cooperation among agents with diverse roles. Large language models (LLMs) have enabled autonomous multi-agent software development frameworks that leverage role-based collaboration to automate requirements analysis, coding, testing, and refinement. However, existing approaches typically assume that intermediate agent outputs are equally reliable, leaving them vulnerable to hallucination propagation, where incorrect decisions generated in early development phases are transferred to downstream agents and negatively impact final software quality. To address this challenge, we propose UA-ChatDev, an uncertainty-aware multi-agent software development framework that integrates uncertainty quantification into agent interactions. It introduces a lightweight uncertainty estimation mechanism based on token-level log probabilities to assess the confidence of agent responses and employs phase-aware threshold calibration to selectively trigger retrieval-based verification when uncertainty exceeds acceptable levels. Extensive experiments on the SRDD benchmark demonstrate that UA-ChatDev consistently outperforms existing single-agent and multi-agent software development frameworks across completeness, executability, consistency, and overall quality metrics. Further ablation studies and communication analyses verify that uncertainty-aware interactions enhance code execution reliability.