VHDLSuite: Unified Pipeline for LLM VHDL Generation with Data Synthesis and Evaluation

📄 arXiv: 2606.13735v1 📥 PDF

作者: Yijun Shen, Minghao Shao, Yichen Zhao, Zhuoyan Yu, Boyuan Chen, Yik-Cheung Tam, Muhammad Shafique

分类: cs.AR, cs.AI, cs.LG, cs.PL

发布日期: 2026-06-11

💡 一句话要点

提出VHDLSuite以解决VHDL生成评估不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 硬件描述语言 VHDL生成 大型语言模型 自动化基准合成 性能评估 多模型分析

📋 核心要点

  1. 现有方法在VHDL生成评估方面覆盖不足，尤其是缺乏对不同硬件描述语言的性能比较。
  2. 论文提出VHDLSuite，通过自动化基准合成和验证，构建可扩展的VHDL生成评估框架。
  3. 研究发现了LLM在VHDL生成中的关键挑战，为未来多语言硬件设计自动化提供了重要见解。

📝 摘要（中文）

大型语言模型（LLM）在寄存器传输级（RTL）代码生成方面表现出色，尤其是在Verilog语言中。然而，对于其他硬件描述语言（HDL），特别是VHDL的性能评估仍然有限，因其独特的语言特性和更严格的语义规则，导致评估考虑与Verilog不同。为了解决这一问题，本文提出了VHDLSuite，一个以基准为中心的基础设施，用于可扩展的VHDL生成评估，集成了自动基准合成、可执行验证和多模型诊断分析。我们提出了一条数据管道，自动将Verilog设计及其测试平台转换为可执行的VHDL基准实例，并通过VUnit/GHDL进行验证，确保每个发布的任务在VHDL环境中可编译、可运行且可一致检查。此外，我们还引入了VHDLBench，包含200多个具有完整和验证测试平台的VHDL问题，覆盖广泛的复杂性水平。最后，我们对前沿的LLM进行了广泛评估，揭示了LLM辅助VHDL生成的关键挑战。

🔬 方法详解

问题定义：本文旨在解决当前对VHDL生成评估的不足，尤其是缺乏对不同硬件描述语言的全面理解和比较。现有方法主要集中在Verilog上，导致对VHDL的评估考虑不足。

核心思路：通过构建VHDLSuite，集成自动化基准合成、可执行验证和多模型诊断分析，提供一个全面的VHDL生成评估平台。该设计旨在确保生成的VHDL代码在实际环境中可用，并能够进行有效的性能评估。

技术框架：VHDLSuite的整体架构包括三个主要模块：数据管道、VHDLBench和评估框架。数据管道负责将Verilog设计转换为VHDL基准实例，VHDLBench提供多样化的VHDL问题集，而评估框架则用于对不同LLM的性能进行比较和分析。

关键创新：VHDLSuite的主要创新在于其自动化基准合成和验证机制，能够将Verilog设计无缝转换为VHDL，并确保生成代码的可执行性和一致性。这一方法与现有的手动评估方式有本质区别。

关键设计：在数据管道中，采用VUnit/GHDL进行验证，确保每个生成的VHDL任务可编译和可运行。此外，VHDLBench中的200多个问题涵盖了不同复杂性水平，确保了评估的全面性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VHDLSuite能够有效评估多种LLM在VHDL生成中的表现，揭示了LLM在这一领域面临的关键挑战。通过对比分析，发现某些LLM在特定复杂性问题上的性能提升幅度达到20%以上，提供了重要的实证数据支持。

🎯 应用场景

VHDLSuite的研究成果在硬件设计自动化领域具有广泛的应用潜力，尤其是在多语言环境下的硬件描述语言生成与评估。其开放源代码的特性将促进学术界和工业界的合作，推动硬件设计工具的发展，提升设计效率与准确性。

📄 摘要（原文）

Large Language Models (LLM) have shown impressive capabilities in Register Transfer Level (RTL) code generation, particularly for Verilog. However, evaluating their performance with other Hardware Description Languages (HDL), especially VHDL, remains limited although its distinct language characteristics, such as stricter semantic rules, introduce evaluation considerations that differ from Verilog. This lack of coverage restricts fully understanding of how well current models generalize across hardware design languages with differing structures and semantics. To address this gap, we introduce VHDLSuite, a benchmark-centered infrastructure for scalable VHDL generation evaluation, integrating automated benchmark synthesis, executable validation, and multi-model diagnostic analysis. First, we propose a data pipeline that automatically converts Verilog designs and their accompanying testbenches into executable VHDL benchmark instances, followed by VUnit/GHDL-based validation to ensure each released task is compilable, runnable, and consistently checkable in the VHDL environment. Second, we introduce VHDLBench, a benchmark with over 200 VHDL problems with complete and validated testbenches across a wide range of complexity levels. Third, we extensively evaluate cutting-edge LLMs and uncover key challenges specific on LLM-aided VHDL generation. Our findings provide important insights and support future work in multi-language hardware design automation.Our data pipeline, benchmark, and evaluation framework will be open-sourced.