RTL-Interact: Training EDA-Interactive Models for Multi-Task RTL Design

📄 arXiv: 2610.41225v1 📥 PDF

作者: Wenxuan Shi, Yaoyu Zhu, Di Huang, Chongxiao Li, Xiaoyun Zhang, Muxin Song, Yutong Wu, Ziyuan Nan, Pengwei Jin, Tian Zhi, Xishan Zhang, Rui Zhang, Xing Hu, Zidong Du, Qi Guo, Yunji Chen

分类: cs.AI

发布日期: 2026-10-30

备注: Under review at ICLR 2027

💡 一句话要点

提出RTL-Interact以解决RTL设计中的EDA交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RTL设计 电子设计自动化 多任务学习 强化学习 模式感知策略优化

📋 核心要点

  1. 现有的RTL专用模型缺乏与EDA工具的有效交互，导致设计过程中的反馈利用不足。
  2. 提出RTL-Interact框架，通过单一模型实现RTL生成、EDA检查构建及反馈修订，提升设计效率。
  3. 实验结果表明，RTL-Interact-32B在CVDP上实现了48.7%的加权Pass@1，超越了DeepSeek-V3.2，且PAPO减少了63.8%的工具调用次数。

📝 摘要（中文）

大型语言模型为寄存器传输级（RTL）设计提供了有前景的解决方案，但可靠的实现需要根据电子设计自动化（EDA）工具的反馈进行检查和修订。现有的RTL专用模型往往缺乏与EDA工具的学习交互，或依赖于单独的生成和修复组件。我们提出了RTL-Interact，一个多任务后训练框架，训练单一的RTL专用模型以生成RTL、构建适当的EDA检查，并使用工具反馈修订实现。该框架结合了自动构建的多任务演示和从思维链到工具集成推理的分阶段监督。我们还引入了模式感知策略优化（PAPO）用于多任务强化学习，显著提升了模型性能。

🔬 方法详解

问题定义：本论文旨在解决现有RTL设计模型在与EDA工具交互时的不足，特别是缺乏有效的反馈机制和修订能力。现有方法通常依赖于分离的生成和修复组件，导致效率低下。

核心思路：提出RTL-Interact框架，通过训练单一的RTL专用模型，集成RTL生成、EDA检查和反馈修订功能，旨在提升设计的自动化和准确性。

技术框架：整体架构包括三个主要模块：RTL生成模块、EDA检查构建模块和反馈修订模块。通过自动构建的多任务演示和分阶段监督，模型能够有效学习各个任务之间的关系。

关键创新：引入模式感知策略优化（PAPO），结合正确性门控奖励和任务分组策略，显著提升了多任务强化学习的效果。这一创新使得模型在修订过程中更加高效，且能够保持各目标的覆盖率。

关键设计：在损失函数设计上，采用了结合正确性门控的奖励机制，鼓励简洁有效的检查和修订。同时，模型的参数设置经过精细调优，以确保在多任务学习中保持性能的稳定性。

📊 实验亮点

实验结果显示，RTL-Interact-32B在CVDP上实现了48.7%的加权Pass@1和68.9%的Pass@5，超越了DeepSeek-V3.2。同时，RTL-Interact-8B也达到了44.9%的加权Pass@1。此外，PAPO方法有效减少了63.8%的工具调用次数，提升了模型的整体性能。

🎯 应用场景

该研究的潜在应用领域包括集成电路设计、硬件验证及自动化设计工具的开发。通过提高RTL设计过程中的自动化程度和反馈利用效率，能够显著缩短设计周期，降低人力成本，推动电子设计行业的智能化进程。

📄 摘要（原文）

Large language models offer a promising route to register-transfer-level (RTL) design, but reliable implementations require checking and revision based on electronic design automation (EDA) tools' feedback. Existing RTL-specialized models often lack learned interaction with such EDA tools or rely on separate generation and repair components. We introduce RTL-Interact, a multi-task post-training framework that trains a single RTL-specialized model to generate RTL, construct task-appropriate EDA checks, and revise implementations using tool feedback. The framework combines automatically constructed multi-task demonstrations with staged supervision from chain-of-thought to tool-integrated reasoning. We further introduce Pattern-Aware Policy Optimization (PAPO) for multi-task reinforcement learning. PAPO augments Group Relative Policy Optimization with correctness-gated rewards that favor concise successful checking while rewarding effective revision, and uses task grouping to preserve coverage across objectives. On CVDP, RTL-Interact-32B achieves 48.7% weighted Pass@1 and 68.9% Pass@5, surpassing its teacher model, DeepSeek-V3.2, while RTL-Interact-8B achieves 44.9% weighted Pass@1. Additionally, we show that PAPO can reduce average tool calls by 63.8% while improving Pass@1. Both models also outperform all RTL-specialized baselines on VerilogEval v2 and RTLLM v2, demonstrating the effectiveness of our method.