Rethinking Software Engineering in the Foundation Model Era: A Curated Catalogue of Challenges in the Development of Trustworthy FMware

📄 arXiv: 2402.15943v2 📥 PDF

作者: Ahmed E. Hassan, Dayi Lin, Gopi Krishnan Rajbahadur, Keheliya Gallaba, Filipe R. Cogo, Boyuan Chen, Haoxiang Zhang, Kishanthan Thangarajah, Gustavo Ansaldi Oliva, Jiahuei Lin, Wali Mohammad Abdullah, Zhen Ming Jiang

分类: cs.SE, cs.AI

发布日期: 2024-02-25 (更新: 2024-03-04)

💡 一句话要点

提出FMArts以解决FMware开发中的信任性挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 FMware 软件工程 可信性 FMArts 开发效率 创新解决方案

📋 核心要点

  1. FMware开发面临10个关键挑战，导致效率低下和高成本，亟需解决。
  2. 提出FMArts平台，旨在提供一个全面的解决方案，提升FMware的可信性和开发效率。
  3. 通过FMArts成功为大型客户开发复杂FMware，验证了其设计的有效性和实用性。

📝 摘要（中文）

基础模型（FMs），如大型语言模型（LLMs），通过启用新的用例和商业模式，彻底改变了软件开发。我们将使用FMs构建的软件称为FMware。FMware的独特属性（如提示、代理和编排需求）以及FMs的内在局限性（如幻觉）导致了一系列全新的软件工程挑战。基于我们的工业经验，我们识别出10个关键的SE4FMware挑战，这些挑战使企业FMware开发变得低效、成本高昂且风险较大。本文详细讨论了这些挑战，并阐述了我们设想的创新路径。接下来，我们介绍了FMArts，这是我们长期努力创建的一个从头到尾的可信FMware工程平台。最后，我们展示了FMArts的独特属性如何使我们能够及时为大型客户设计和开发复杂的FMware，并讨论了我们在此过程中的经验教训。我们希望这些挑战的披露及我们应对它们的努力，不仅能提高人们的认识，还能促进更深入的讨论、知识共享和创新解决方案在软件工程领域的发展。

🔬 方法详解

问题定义：论文要解决FMware开发中的信任性和效率问题，现有方法在应对FM的局限性（如幻觉）时表现不佳。

核心思路：论文提出FMArts平台，旨在通过集成多种工具和流程，提升FMware的开发效率和可信性，确保软件工程的高效性和安全性。

技术框架：FMArts平台包括需求分析、设计、开发、测试和部署等主要模块，形成一个完整的工程生命周期管理体系。

关键创新：FMArts的设计整合了多种新兴技术和方法，特别是在处理FM的特性和局限性方面，与传统软件工程方法有本质区别。

关键设计：在FMArts中，采用了动态提示生成、实时反馈机制和多层次验证策略等关键设计，确保开发过程的灵活性和可靠性。

📊 实验亮点

通过FMArts平台，成功为大型客户开发复杂FMware，显著缩短了开发周期，提升了软件的可靠性和用户满意度，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括企业软件开发、智能助手、自动化工具等，FMArts平台的实施将显著提升FMware的开发效率和可信性，推动行业的技术进步和创新。

📄 摘要（原文）

Foundation models (FMs), such as Large Language Models (LLMs), have revolutionized software development by enabling new use cases and business models. We refer to software built using FMs as FMware. The unique properties of FMware (e.g., prompts, agents, and the need for orchestration), coupled with the intrinsic limitations of FMs (e.g., hallucination) lead to a completely new set of software engineering challenges. Based on our industrial experience, we identified 10 key SE4FMware challenges that have caused enterprise FMware development to be unproductive, costly, and risky. In this paper, we discuss these challenges in detail and state the path for innovation that we envision. Next, we present FMArts, which is our long-term effort towards creating a cradle-to-grave platform for the engineering of trustworthy FMware. Finally, we (i) show how the unique properties of FMArts enabled us to design and develop a complex FMware for a large customer in a timely manner and (ii) discuss the lessons that we learned in doing so. We hope that the disclosure of the aforementioned challenges and our associated efforts to tackle them will not only raise awareness but also promote deeper and further discussions, knowledge sharing, and innovative solutions across the software engineering discipline.