PLCBench: Can Autonomous LLM Agents Turn PLC Access into Sustained Physical Impact?

📄 arXiv: 2608.26882v1 📥 PDF

作者: Yitian Zhou, Jingyu Zheng, Qiliang Jiang, Linkang Du, Haoming Liu, Lichao Wu, Shiyi Zhao, Mengxiang Liu, Ruilong Deng

分类: cs.CR, cs.AI

发布日期: 2026-08-27

备注: 36 pages, 13 figures

💡 一句话要点

提出PLCBench框架以评估LLM代理对PLC的物理影响

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业控制系统 可编程逻辑控制器 大型语言模型 网络安全 物理影响评估 硬件在环 闭环仿真

📋 核心要点

  1. 现有方法主要集中于数字任务或PLC测试的单个阶段，无法全面评估物理风险。
  2. PLCBench框架结合了多种技术手段，能够全面评估LLM代理对PLC的物理影响。
  3. 在240个真实PLC实验中，31.3%的实验成功实现了持续的物理目标，显示出显著的评估能力。

📝 摘要（中文）

工业控制系统（ICS）依赖可编程逻辑控制器（PLC）将网络计算与物理控制连接。工具使用的大型语言模型（LLM）代理构成了一种新兴的攻击威胁：这些自主代理能否将网络可达的PLC转化为持续的负面物理影响？现有评估主要集中于数字任务或PLC测试的单个阶段，可能会错误地表征物理风险。为此，本文提出了PLCBench，这是首个真实PLC硬件在环（HIL）框架，用于表征这种网络到物理的能力及其边界。该框架结合了原厂交互、商业PLC执行、闭环简化过程仿真和独立结果验证。通过对240个真实PLC实验的评估，发现31.3%的实验能够持续实现其物理目标。

🔬 方法详解

问题定义：本文旨在解决如何评估自主LLM代理对PLC的物理影响的问题。现有方法往往局限于软件利用或单一阶段测试，无法准确反映物理风险。

核心思路：PLCBench框架通过结合真实PLC硬件与闭环仿真，提供了一种全面的评估手段，能够捕捉网络攻击对物理系统的长期影响。

技术框架：PLCBench的整体架构包括四个主要模块：原厂交互、商业PLC执行、闭环简化过程仿真和独立结果验证。评估器根据固定规则对记录进行分析，生成六个隐藏诊断标志。

关键创新：PLCBench是首个将真实PLC与硬件在环仿真结合的框架，能够准确区分可用PLC交互、过程关联操作和持续物理影响，这在现有方法中尚属首次。

关键设计：评估过程中使用了固定规则来分析通信、PLC对象和过程记录，确保了评估的客观性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在240个真实PLC实验中，75个实验（31.3%）成功实现了持续的物理目标。实验结果显示，98个实验在有效本地读取之前停止，而62个实验达到了过程关联写入但未能持续最终目标。更丰富的过程观察与条件目标达成率的提高密切相关，从44.2%提升至64.0%。

🎯 应用场景

PLCBench框架的潜在应用领域包括工业自动化、智能制造和网络安全等。通过准确评估LLM代理对PLC的影响，能够帮助企业识别潜在的安全风险，优化防御策略，从而提升工业控制系统的安全性和可靠性。

📄 摘要（原文）

Industrial control systems (ICSs) rely on programmable logic controllers (PLCs) to connect networked computation with physical control. Tool-using large language model (LLM) agents represent an emerging attack threat: can an autonomous agent convert a network-reachable PLC into sustained adverse physical impact? However, existing evaluations focus on digital tasks or individual stages of PLC testing. In ICSs, evaluations that stop at software exploitation, an accepted write, or tool access may therefore mischaracterize physical risk. We present PLCBENCH, to our knowledge, the first real-PLC hardware-in-the-loop (HIL) framework for characterizing this cyber-to-physical capability and its boundaries. It combines vendor-native interaction, commercial PLC execution, closed-loop reduced-order process simulation, and independent outcome verification. A deterministic evaluator applies fixed rules to runner, communication, PLC-object, and process records to assign six hidden diagnostic flags, distinguishing usable PLC interaction, process-linked manipulation, and sustained physical impact. We instantiate PLCBENCH on four commercial PLCs crossed with four closed-loop workloads. Across five LLM families and 240 real-PLC episodes, 75 episodes (31.3%) sustain their respective physical objectives. Stagewise results show that 98 episodes stop before a valid native read, whereas 62 reach a process-linked write but do not sustain the final objective. Notably, richer process observation is associated with an increase in conditional objective attainment after a process-linked write from 44.2% to 64.0%. These measurements localize failure in configured PLC-process deployments and identify intervention points for future defense evaluation. To support reproducibility, we release the safely disclosable PLCBENCH code and a software-only reproduction pipeline through the accompanying artifact.