Agentic evolution of physically constrained foundation models
作者: Jiangwei Zhang, Wen Sun, Chong Wang, Shiyao Li, Cheng Che, Chunjing Han, Dan Meng, Jian Yang, Yu Wang, Rui Hou
分类: cs.AI, cs.AR, cs.LG, cs.MA
发布日期: 2026-06-24
备注: 29 pages, 5 main figures and 4 extended data figures
💡 一句话要点
提出一种物理约束下的多智能体发现引擎以解决硬件兼容性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理约束 多智能体 演化知识图谱 硬件兼容性 自动化设计
📋 核心要点
- 现有的通用智能体缺乏物理基础，导致生成的设计常常与硬件不兼容，影响实际应用。
- 提出了一种物理基础的多智能体发现引擎，通过演化知识图谱和算法链式思维实现硬件兼容的系统架构。
- 在基础模型部署中，演化出的Q-Enhance和MoE-Salient-AQ方法在压缩性能上超越了传统人类设计，显著提升了效率。
📝 摘要（中文）
人工智能在自动化科学发现中发挥着越来越重要的作用，但现有的通用智能体缺乏物理基础，常常产生与硬件不兼容的设计。本文提出了一种物理基础的多智能体发现引擎，能够自主架构符合硬件要求的计算系统。该框架通过演化知识图谱提取“算法链式思维”，将盲目的随机搜索转变为有针对性的结构演化。在基础模型部署的极端测试环境中，该引擎演化出两种硬件感知的压缩方法，超越了人类设计的启发式方法。通过有效利用带宽的敏感性分析，我们成功将一个2350亿参数的模型部署到受限的双A100服务器上，内存需求减少了75%，仅有0.64%的准确率下降。
🔬 方法详解
问题定义：现有的通用智能体在进行硬件设计时常常缺乏物理约束，导致生成的设计不符合实际硬件要求，影响了自动化科学发现的有效性。
核心思路：本文提出的多智能体发现引擎通过演化知识图谱和算法链式思维，将随机搜索转变为有针对性的结构演化，从而实现硬件兼容的计算系统设计。
技术框架：该框架包括多个模块，首先构建演化知识图谱以整合过去的科学创新，然后提取算法链式思维以指导设计过程，最后通过演化算法优化硬件设计。
关键创新：最重要的创新在于将知识驱动的自主设计与物理约束结合，形成了一种新的硬件-软件协同设计范式，显著提升了设计的有效性和效率。
关键设计：在模型压缩方面，Q-Enhance方法通过优化长上下文的准确性，MoE-Salient-AQ方法在稀疏混合专家设计中超越了现有的手动设计，具体在子3位的情况下提升了3.7%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Q-Enhance和MoE-Salient-AQ方法在压缩性能上超越了传统的人工设计，后者在子3位的情况下提升了3.7%。此外，成功将2350亿参数的模型部署到双A100服务器上，内存需求减少了75%，仅有0.64%的准确率下降，展示了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括高效计算系统的设计、自动化硬件架构生成以及科学发现的加速。通过实现硬件与软件的协同设计，未来可以在更严格的物理约束下进行创新，推动智能体在各个领域的应用。
📄 摘要（原文）
Artificial intelligence increasingly drives automated scientific discovery, yet contemporary generalist agents lack physical grounding, frequently hallucinating hardware-incompatible designs. Here, we present a physically grounded, multi-agent discovery engine that autonomously architects hardware-compliant computing systems. Anchored by an Evolutionary Knowledge Graph structuring past scientific innovations, the framework extracts an "algorithmic Chain-of-Thought" to transform blind stochastic search into directed structural evolution. Applied to the extreme testbed of foundation model deployment, the engine evolved two hardware-aware compression methodologies surpassing human-engineered heuristics: Q-Enhance mitigates long-context accuracy loss in dense models, and MoE-Salient-AQ outperforms state-of-the-art manual sparse Mixture-of-Experts designs by 3.7% at sub-3-bit regimes. Utilizing a bandwidth-efficient Sensitivity Profile, we successfully deployed a massive 235-billion-parameter model onto a constrained dual-A100 server, reducing memory requirements by 75% with a marginal 0.64% accuracy degradation. By transforming unconstrained combinatorial search into knowledge-driven autonomy, this establishes a scalable hardware-software co-design paradigm for machine-driven discovery within strict physical boundaries.