Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

📄 arXiv: 2606.12983 📥 PDF

作者: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H.T. Kung

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出结构化测试平台生成框架以解决LLM驱动的RTL设计验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试平台生成 RTL设计 硬件验证 自动化测试 数据整理 大语言模型 结构化生成

📋 核心要点

  1. 现有的基于提示的测试平台生成方法存在高代价、低可重复性和覆盖不足等问题，限制了RTL设计验证的效率。
  2. 本文提出的STG框架通过利用硬件设计的结构性，生成确定性的测试平台，从而提高验证的速度和准确性。
  3. 实验结果表明，STG在测试平台生成速度上比现有方法快720倍，且在数据整理和模型性能上也显著优于基于LLM的方法。

📝 摘要（中文）

自动化测试平台生成已成为LLM驱动的寄存器传输级（RTL）工作流中的关键瓶颈，现有的基于提示的方法将测试平台生成视为不受约束的代码合成，导致输出随机、高代价、低可重复性和覆盖不足。为了解决这一问题，本文提出了STG，一个结构化测试平台生成框架，利用硬件设计的内在结构生成确定性的测试平台。STG的验证速度比基于LLM的迭代生成流程快720倍，成功编译率更高，覆盖率更高，并减少了对错误设计单元的误判。作为数据整理引擎，STG在单个CPU核心上比基于LLM的过滤快11倍，能耗减少127倍，所生成的模型在多基准评估中表现出色。

🔬 方法详解

问题定义：本文旨在解决LLM驱动的RTL设计验证中测试平台生成的效率和准确性问题。现有方法在生成测试平台时存在随机性高、代价大和覆盖不足等痛点。

核心思路：STG框架利用硬件设计的内在结构，生成确定性的测试平台，避免了随机生成带来的不确定性，从而提高了验证的效率和成功率。

技术框架：STG的整体架构包括测试平台生成模块、验证工具和数据整理引擎。测试平台生成模块负责根据设计结构生成测试平台，验证工具用于快速验证生成的测试平台，而数据整理引擎则用于优化和过滤测试数据。

关键创新：STG的主要创新在于其结构化生成方法，通过利用硬件设计的特性，显著提高了测试平台生成的速度和准确性，与现有的随机生成方法形成鲜明对比。

关键设计：在设计中，STG采用了高效的算法来解析硬件设计结构，并设置了优化的参数以减少生成时间和能耗，同时确保生成的测试平台具有高覆盖率和低误判率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，STG在测试平台生成速度上比基于LLM的方法快720倍，成功编译率更高，覆盖率显著提升。此外，STG在数据整理方面也表现出色，速度比LLM方法快11倍，能耗减少127倍，展现了其在多基准评估中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括集成电路设计、硬件验证和自动化测试等。STG框架能够显著提高RTL设计验证的效率，降低开发成本，未来可能在硬件设计自动化和智能化方面发挥重要作用。

📄 摘要（原文）

Automated testbench generation has become a critical bottleneck in large language model (LLM)-driven Register Transfer Level (RTL) workflows, where large numbers of candidate designs must be verified rapidly and reliably. Existing prompt-based approaches treat testbench generation as unconstrained code synthesis, yielding stochastic outputs with high token cost, low reproducibility, and insufficient coverage. To address this gap, we present STG, a Structured Testbench Generation framework that exploits the inherent structure of hardware designs to generate deterministic testbenches. As a direct verification tool, STG runs 720x faster than an iterative LLM-based testbench generation flow and higher rate of successful compilation, achieves higher coverage, and reduces false-pass verdicts on incorrect DUTs. STG also helps identify errors in RTL generation benchmarks by exposing faulty benchmark testbenches. As a data curation engine, it is 11x faster than LLM-based filtering on a single CPU core with 127x less energy, and the resulting distilled models provide state-of-the-art performance in our multi-benchmark evaluation. As a test-time scaling oracle, it reduces node count by 14-47\%. Our models are available atthis https URL.