Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

📄 arXiv: 2606.12983v1 📥 PDF

作者: En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

分类: cs.AI

发布日期: 2026-06-11

备注: 9 pages, 10 figures

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出结构化测试平台生成框架以解决LLM驱动RTL设计验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化测试 硬件设计 验证工具 数据整理 结构化生成

📋 核心要点

  1. 现有的基于提示的测试平台生成方法存在随机性高、成本高和覆盖不足等问题，影响了RTL设计的验证效率。
  2. 本文提出的STG框架通过利用硬件设计的结构特性，生成确定性的测试平台，从而提高验证的可靠性和效率。
  3. 实验结果表明，STG在生成速度、成功编译率和覆盖率等方面均显著优于现有的LLM驱动方法，且能耗大幅降低。

📝 摘要（中文）

自动化测试平台生成已成为LLM驱动的寄存器传输级（RTL）工作流程中的关键瓶颈，现有基于提示的方法将测试平台生成视为无约束的代码合成，导致输出随机、高代价、低可重复性和覆盖不足。为了解决这一问题，本文提出了STG框架，利用硬件设计的内在结构生成确定性的测试平台。STG作为直接验证工具，其生成速度比基于LLM的迭代测试平台生成流程快720倍，成功编译率更高，覆盖率更高，并减少了对错误设计单元（DUT）的误判。此外，STG在数据整理方面也表现出色，速度比基于LLM的过滤快11倍，能耗减少127倍，最终模型在多基准评估中表现出色。

🔬 方法详解

问题定义：本文旨在解决LLM驱动的RTL设计验证中，自动化测试平台生成的效率和可靠性问题。现有方法由于缺乏结构约束，导致生成的测试平台随机性高、成本高和覆盖不足。

核心思路：STG框架的核心思路是利用硬件设计的内在结构特性，生成确定性的测试平台，从而提高生成速度和验证的准确性。通过这种结构化的方法，STG能够有效减少误判和提高覆盖率。

技术框架：STG框架主要包括三个模块：结构化测试平台生成模块、验证工具模块和数据整理模块。结构化测试平台生成模块负责根据硬件设计生成测试平台，验证工具模块用于验证生成的测试平台的有效性，数据整理模块则用于优化和过滤测试数据。

关键创新：STG的主要创新在于其结构化生成方法，与现有的无约束生成方法相比，STG能够提供更高的确定性和可靠性，显著提高了测试平台的生成效率和覆盖率。

关键设计：在设计中，STG采用了特定的参数设置和优化算法，以确保生成的测试平台具备高覆盖率和低误判率。此外，STG还在数据整理过程中引入了能耗优化策略，使得整体能耗显著降低。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，STG在测试平台生成速度上比传统LLM方法快720倍，成功编译率更高，覆盖率显著提升，同时在数据整理方面速度比LLM过滤快11倍，能耗减少127倍，展现出卓越的性能。

🎯 应用场景

该研究的潜在应用领域包括集成电路设计、硬件验证和自动化测试等。STG框架能够显著提高RTL设计的验证效率，降低开发成本，具有广泛的实际价值和未来影响，尤其是在快速发展的半导体行业中。

📄 摘要（原文）

Automated testbench generation has become a critical bottleneck in large language model (LLM)-driven Register Transfer Level (RTL) workflows, where large numbers of candidate designs must be verified rapidly and reliably. Existing prompt-based approaches treat testbench generation as unconstrained code synthesis, yielding stochastic outputs with high token cost, low reproducibility, and insufficient coverage. To address this gap, we present STG, a Structured Testbench Generation framework that exploits the inherent structure of hardware designs to generate deterministic testbenches. As a direct verification tool, STG runs 720x faster than an iterative LLM-based testbench generation flow and higher rate of successful compilation, achieves higher coverage, and reduces false-pass verdicts on incorrect DUTs. STG also helps identify errors in RTL generation benchmarks by exposing faulty benchmark testbenches. As a data curation engine, it is 11x faster than LLM-based filtering on a single CPU core with 127x less energy, and the resulting distilled models provide state-of-the-art performance in our multi-benchmark evaluation. As a test-time scaling oracle, it reduces node count by 14-47\%. Our models are available at https://huggingface.co/collections/AS-SiliconMind/siliconmind-v12.