NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration
作者: Chang Liu, Xiaohui Xie, Xinyi Chen, Yong Cui
分类: cs.NI, cs.AI
发布日期: 2026-08-24
💡 一句话要点
提出NetConfArena以评估LLM代理在闭环网络配置中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网络配置 大型语言模型 闭环系统 基准测试 智能代理 仿真技术 任务执行
📋 核心要点
- 现有基准测试未能充分反映网络配置的复杂性，导致LLM代理的评估不够全面。
- 本文提出NetConfArena，通过模拟多设备网络和标准化接口，提供真实的评估环境。
- 在480个任务实例的评估中，发现LLM代理的故障不仅限于命令错误，还涉及任务规范和执行的稳健性问题。
📝 摘要（中文）
大型语言模型（LLM）代理在自动化网络配置中越来越受到关注，但其可靠性和故障模式尚不明确。现有基准测试往往将配置视为静态命令生成，或依赖过于简化的设置，未能充分反映网络配置的核心挑战。本文提出NetConfArena，一个可执行的基准，用于评估LLM代理在闭环网络配置中的表现。该基准在模拟的多设备网络中放置代理，提供标准化的任务执行接口，并通过隐藏的任务特定可执行测试用例评估网络行为。我们在480个任务实例上评估了代表性的LLM代理，发现故障不仅限于命令错误，还揭示了任务规范遵循和稳健规划执行的差距。
🔬 方法详解
问题定义：本文旨在解决现有基准测试在评估LLM代理网络配置能力时的不足，尤其是未能考虑协议复杂性和拓扑依赖性的问题。
核心思路：NetConfArena通过在模拟的多设备网络中放置代理，提供一个标准化的任务执行接口，以便在风险较低的环境中评估代理的表现。
技术框架：整体架构包括三个主要模块：1) 网络仿真模块，创建多设备网络环境；2) 任务执行模块，提供标准化接口；3) 评估模块，通过隐藏的可执行测试用例评估网络行为。
关键创新：NetConfArena的创新在于其可执行性和标准化接口，能够真实反映网络配置的复杂性，与传统静态命令生成方法有本质区别。
关键设计：在任务模板设计中，使用了96个以协议为中心的任务模板，生成480个任务实例，确保了评估的全面性和多样性。
🖼️ 关键图片
📊 实验亮点
在480个任务实例的评估中，LLM代理的执行轨迹达3840条，发现故障不仅限于命令错误，还涉及任务规范遵循和执行的稳健性问题。这些发现为未来的模型改进和执行机制设计提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括网络管理、自动化配置和智能运维等。通过提供一个可靠的评估工具，NetConfArena可以帮助研究人员和工程师更好地理解LLM代理在复杂网络环境中的表现，从而推动智能网络配置技术的发展。
📄 摘要（原文）
Large language model (LLM) agents are increasingly attractive for automating network configuration, yet their reliability and failure patterns are poorly understood. An essential prerequisite is to assess such agents in a realistic but risk-free environment. Existing benchmarks, however, fall short: they often treat configuration as static command generation or rely on overly simplified settings. Such evaluations understate the core challenges of network configuration, where correctness requires reasoning about protocol complexity and topology dependence. We present NetConfArena, an executable benchmark for evaluating LLM agents in closed-loop network configuration. NetConfArena places agents in emulated multi-device networks, provides a standardized and compact action interface for task execution, and evaluates the resulting network behavior with hidden task-specific executable test cases. The benchmark relies on an LLM-assisted, emulation-grounded pipeline, which converts human-oriented network materials into reusable parameterized task templates. We evaluate representative LLM agents on 480 task instances instantiated from 96 protocol-focused task templates, yielding 3840 execution trajectories, and show that failures are not limited to command errors. The failures also reveal gaps in task-specification adherence and robust planning and execution. These findings suggest two future directions: using validated trajectories as supervision signals to improve foundation models, and designing harness mechanisms that make agent execution more reliable and accountable.