Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study
作者: Aon Safdar, Mohamed Saadeldin
分类: cs.AI
发布日期: 2026-08-03
备注: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible
💡 一句话要点
利用语言模型代理进行长时间自主架构研究
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间自主研究 语言模型 神经架构设计 实验自动化 模型优化
📋 核心要点
- 现有方法在长时间的神经架构设计中缺乏有效的自主研究能力，导致效率低下。
- 本研究提出利用大型语言模型代理，自动化提出和评估架构设计假设，提升研究效率。
- 实验结果显示，代理在多个基准上显著提升了模型性能，尤其在ImageNet-1K上表现出色。
📝 摘要（中文）
本研究探讨了一个通用的大型语言模型作为唯一研究者在长时间神经架构设计问题上的表现。代理接收科学问题、初始假设和动机、计算预算及研究资源，随后自主提出、实施、评估和记录实验。研究分为三个阶段，逐步扩展代理的工具面或问题规模。通过约100个连续实验，代理将一个非标准的视觉变换器从弱基线提升到更强的高效模型，并在ImageNet-1K上实现了可用但低于SOTA的模型，同时生成了密集的行为轨迹。我们报告了四个发现，包括生产力的阶段性结构、早期假设对准确性提升的贡献、贪婪增量假设的偏好及代理独立重发现已建立结果等。
🔬 方法详解
问题定义：本研究旨在解决长时间神经架构设计中的自主研究问题，现有方法往往依赖于人工干预，效率低下。
核心思路：通过一个大型语言模型代理，自动化整个研究过程，包括假设生成、实验实施和结果评估，以提高研究的自主性和效率。
技术框架：研究分为三个阶段，代理在每个阶段接收不同的工具和资源，逐步扩展其研究能力。主要模块包括假设生成、实验管理、结果记录和文献访问。
关键创新：本研究的创新在于将语言模型应用于自主研究，代理不仅能提出新假设，还能在实验中独立重发现已有结果，打破传统设计选择。
关键设计：代理的工作流程包括快速假设生成、实验评估和结果记录，采用了贪婪的评估规则和风险规避策略，以应对实验中的失败和不确定性。具体参数设置和损失函数设计未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果表明，代理在约100个实验中将非标准视觉变换器的性能从弱基线提升至更强的高效模型，并在ImageNet-1K上实现了可用但低于SOTA的表现，展示了显著的研究效率和成果。
🎯 应用场景
该研究的潜在应用领域包括自动化机器学习、神经网络架构搜索以及科学研究的自主化。通过提高研究效率，能够加速新模型的开发与应用，推动人工智能领域的进步。
📄 摘要（原文）
We study what happens when a single general-purpose large language model acts as the sole researcher on a long-horizon neural architecture design problem. The agent receives a scientific question, an initial hypothesis and motivation, a compute budget, and research affordances (source and experiment management, experiment tracking, literature access, and persistent memory), then autonomously proposes, implements, evaluates, and records experiments over an extended period. The study comprises three phases, separated by human-declared transitions, that progressively expand the agent's tool surface or problem scale. Across approximately 100 sequential experiments, the agent improves a non-standard Vision Transformer from a weak baseline to a stronger, efficient model on small benchmarks and a usable but sub-SOTA model on ImageNet-1K, while producing a dense behavioural trace. We report four findings.(i)Productivity exhibits a clear phase structure: rapid early gains, a multi-dozen-hypothesis saturation wall, and recovery, with recovery triggered by expanding the action surface rather than changing the underlying model.(ii)A single early hypothesis contributes more to accuracy gain, with later improvements long-tailed.(iii)The preference for greedy, incremental hypotheses is largely workflow-induced: a commit-or-discard evaluation rule is isomorphic to greedy hill-climbing; the remainder reflects risk aversion after bold failures and anchoring on familiar literature. (iv)The agent independently rediscovers established results and, in the unfamiliar regime of pure channel attention, overturns a standard design choice. We conclude that workflow design was at least as influential as agent capability in this study and propose diversified search, budgeted moonshot hypotheses, explicit forks, and regime-aware re-validation as testable directions for future autonomous research.