Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study
作者: Guangzong Cai, Ruiyin Li, Peng Liang, Zengyang Li, Mojtaba Shahin
分类: cs.SE, cs.AI
发布日期: 2026-06-10
备注: 52 pages, 21 images, 8 tables, Manuscript submitted to a Journal (2026)
💡 一句话要点
提出AI IDE规则分类与演变研究以优化开发者体验
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI IDE 规则分类 规则演变 软件构件 开发者体验 开源项目 自动化工具
📋 核心要点
- 现有研究对AI IDE中规则的分类和演变缺乏深入探讨，导致开发者在使用时面临困惑。
- 通过对开源项目的挖掘和调查，我们建立了全面的规则分类体系，并分析了规则的演变情况。
- 更新规则显著提高了软件构件的合规性，平均合规率提升了22.99%。
📝 摘要（中文）
随着AI驱动的集成开发环境（AI IDE）的普及，'规则'作为一种新型软件构件被引入，使开发者能够在大型语言模型（LLM）中持久注入项目特定的约束和架构指导。尽管这些规则在对齐AI行为与开发者意图方面发挥着重要作用，但其分类、演变及实际影响仍未得到充分探讨。为填补这一空白，我们进行了混合方法的实证研究，通过挖掘83个开源项目并提取7310条规则，建立了包括5个主要类别和25个次要类别的综合分类体系。我们的分析揭示了开发者优先级与实际配置之间的对比，发现规则演变主要由建设性上下文扩展和丰富驱动，并且更新规则显著提高了软件构件的合规性。
🔬 方法详解
问题定义：本研究旨在解决AI IDE中规则的分类、演变及其对开发者影响的缺乏系统性理解的问题。现有方法未能充分揭示开发者在使用规则时的真实需求和优先级。
核心思路：通过对开源项目的挖掘和开发者调查相结合的方法，建立规则的分类体系，并分析规则演变的驱动因素，以此为基础优化开发者的使用体验。
技术框架：研究分为三个主要阶段：首先，挖掘83个开源项目并提取7310条规则；其次，建立规则分类体系，包括5个主要类别和25个次要类别；最后，通过调查99位开发者，分析规则的实际使用情况及演变。
关键创新：本研究的创新点在于建立了AI IDE规则的全面分类体系，并揭示了规则演变的主要驱动因素，填补了现有文献的空白。
关键设计：在规则提取过程中，采用了定量与定性相结合的方法，确保分类的准确性和全面性。同时，通过对规则演变事件的分析，识别出开发者主要通过添加新负面约束来修正AI错误。
📊 实验亮点
实验结果显示，更新规则后，软件构件的合规性显著提高，平均合规率从49.14%提升至72.13%，提升幅度达到22.99%。此外，开发者在修改规则时主要集中于纠正AI错误，表明规则的实际使用与开发者的需求存在差距。
🎯 应用场景
该研究的成果可广泛应用于AI IDE的开发与优化，帮助开发者更有效地管理项目约束，提高软件开发的效率和质量。此外，研究结果也为工具开发者提供了设计自动化冲突检测和上下文管理机制的指导，具有重要的实际价值和未来影响。
📄 摘要（原文）
The adoption of AI-powered Integrated Development Environments (AI IDEs) has introduced "Rules" as a novel software artifact, allowing developers to persistently inject project-specific constraints and architectural guidelines into the context of Large Language Models (LLMs). Despite their role in aligning AI behavior with developer intent, the taxonomy, evolution, and practical impact of these rules remain largely unexplored. To bridge this gap, we conducted a mixed-methods empirical study on AI IDE rules. By mining 83 open-source projects and extracting 7,310 rules, we established a comprehensive taxonomy comprising 5 primary and 25 secondary categories. We then triangulated these artifacts with survey responses from 99 practitioners. Our analysis identified a contrast between developer priorities and actual configurations: while practitioners rate architectural constraints as highly important, rule files in repositories primarily consist of low-level workflow and code formatting constraints. Furthermore, our analysis of 1,540 rule evolution events revealed that rules are updated frequently. Repository data further indicate that rule evolution is primarily driven by constructive context expansions (29.17%) and enrichments (26.59%). In contrast, surveyed developers reported modifying rules primarily to correct AI errors (77.78%), typically by adding new negative constraints rather than editing existing ones. Finally, an artifact compliance assessment of 160 rule evolution events revealed that updating rules significantly improves the adherence of software artifacts, with the average artifact compliance rate increasing by 22.99% (from 49.14% to 72.13%) following an update. Our study provides empirical insights that can help developers optimize prompting strategies and guide tool builders in designing automated conflict-detection and context-management mechanisms for AI IDEs.