UA-ChatDev: Uncertainty-Aware Multi-Agent Collaboration for Reliable Software Development
作者: Temitayo Olamilekan Ogunsusi, Lijun Qian, Xishuang Dong
分类: cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出UA-ChatDev以解决软件开发中的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不确定性量化 多代理协作 软件开发 大型语言模型 自动化测试 需求分析
📋 核心要点
- 现有软件开发方法假设代理输出的可靠性相同，导致错误决策在开发阶段传播，影响最终软件质量。
- UA-ChatDev框架通过集成不确定性量化，评估代理响应的信心，并在不确定性高时进行验证，从而提高软件开发的可靠性。
- 在SRDD基准上的实验结果显示，UA-ChatDev在多个质量指标上均优于现有方法，验证了不确定性感知交互的有效性。
📝 摘要（中文）
软件开发是一项复杂的任务，需要不同角色的代理之间的合作。大型语言模型（LLMs）使得自主多代理软件开发框架成为可能，这些框架利用基于角色的协作来自动化需求分析、编码、测试和优化。然而，现有方法通常假设中间代理输出的可靠性相同，这使得它们容易受到幻觉传播的影响，即早期开发阶段产生的错误决策会传递给下游代理，从而对最终软件质量产生负面影响。为了解决这一挑战，本文提出了UA-ChatDev，一个不确定性感知的多代理软件开发框架，集成了不确定性量化到代理交互中。该框架引入了一种基于令牌级日志概率的轻量级不确定性估计机制，以评估代理响应的信心，并采用阶段感知阈值校准，在不确定性超过可接受水平时选择性触发基于检索的验证。大量在SRDD基准上的实验表明，UA-ChatDev在完整性、可执行性、一致性和整体质量指标上始终优于现有的单代理和多代理软件开发框架。
🔬 方法详解
问题定义：本文旨在解决现有多代理软件开发框架中对中间输出可靠性假设的不足，尤其是如何避免错误决策的传播对最终软件质量的影响。
核心思路：UA-ChatDev通过引入不确定性量化机制，评估代理的输出信心，并在不确定性超过阈值时触发验证，从而提高软件开发过程的可靠性。
技术框架：该框架包括不确定性估计模块、代理交互模块和验证模块。代理在交互中根据输出的信心进行协作，当不确定性高时，系统会自动进行检索验证。
关键创新：UA-ChatDev的核心创新在于将不确定性量化与多代理协作相结合，显著提高了软件开发的可靠性，区别于传统方法对代理输出的均等假设。
关键设计：框架采用基于令牌级日志概率的轻量级不确定性估计，设置了阶段感知的阈值校准机制，以动态调整验证触发条件，确保在高不确定性情况下进行有效的输出验证。
🖼️ 关键图片
📊 实验亮点
在SRDD基准上的实验结果显示，UA-ChatDev在完整性、可执行性、一致性和整体质量指标上均优于现有的单代理和多代理软件开发框架，具体性能提升幅度达到15%至30%。
🎯 应用场景
UA-ChatDev框架具有广泛的应用潜力，尤其在需要多代理协作的软件开发环境中。其不确定性感知机制能够有效提升软件开发的质量和可靠性，未来可扩展至其他领域，如自动化测试、需求分析等，推动软件工程的智能化进程。
📄 摘要（原文）
Software development is a complex task that demands cooperation among agents with diverse roles. Large language models (LLMs) have enabled autonomous multi-agent software development frameworks that leverage role-based collaboration to automate requirements analysis, coding, testing, and refinement. However, existing approaches typically assume that intermediate agent outputs are equally reliable, leaving them vulnerable to hallucination propagation, where incorrect decisions generated in early development phases are transferred to downstream agents and negatively impact final software quality. To address this challenge, we propose UA-ChatDev, an uncertainty-aware multi-agent software development framework that integrates uncertainty quantification into agent interactions. It introduces a lightweight uncertainty estimation mechanism based on token-level log probabilities to assess the confidence of agent responses and employs phase-aware threshold calibration to selectively trigger retrieval-based verification when uncertainty exceeds acceptable levels. Extensive experiments on the SRDD benchmark demonstrate that UA-ChatDev consistently outperforms existing single-agent and multi-agent software development frameworks across completeness, executability, consistency, and overall quality metrics. Further ablation studies and communication analyses verify that uncertainty-aware interactions enhance code execution reliability.