ORACLE: A Multi-Objective Reinforcement Learning-Based Analog Circuit Design Optimizer with Large Language Models-Guided Exploration

📄 arXiv: 2608.04999v1 📥 PDF

作者: Osei Brempong, Mohammed Ayman Habib, Vivan Poddar, Morteza Fayazi

分类: eess.SY, cs.AI

发布日期: 2026-08-05

💡 一句话要点

提出ORACLE以解决多目标模拟电路设计优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多目标优化 强化学习 模拟电路设计 偏好向量 大语言模型 设计自动化 性能提升

📋 核心要点

  1. 现有的强化学习方法多集中于单目标优化，无法有效捕捉多目标之间的真实权衡，导致设计次优。
  2. ORACLE框架通过向量值学习和偏好向量的引入，支持多目标优化，避免了每次目标变更时的重新训练。
  3. 在2000个测试案例中，ORACLE的运行时间比现有方法减少了20.4倍至104.4倍，并满足99.9%的目标规格。

📝 摘要（中文）

模拟电路设计自动化利用强化学习（RL）已成为减少人工工作量的有前景的方法。然而，许多现有的RL方法集中于单目标优化，即使是针对多目标问题的方法也常常将多个设计规格简化为单一标量奖励。这种简化限制了捕捉竞争目标之间真实Pareto权衡的能力，并且通常导致次优设计。为了解决这些挑战，本文提出了ORACLE，一个基于RL的多目标模拟电路设计优化框架，采用向量值学习和偏好感知条件替代标量奖励优化。ORACLE能够在不重新训练的情况下，生成跨越不同权衡设置的设计。实验结果显示，ORACLE在多个电路拓扑上显著提高了性能。

🔬 方法详解

问题定义：本文旨在解决现有多目标模拟电路设计优化方法中，单标量奖励导致的次优设计问题，以及在目标变更时需重新训练模型的局限性。

核心思路：ORACLE通过引入向量值学习和偏好向量，允许用户指定多个目标的相对权重，从而实现真正的多目标优化，避免了重新训练的需求。

技术框架：ORACLE的整体架构包括偏好向量的输入模块、向量值学习的优化模块，以及基于大语言模型的动作选择机制，确保生成的设计符合用户的多目标需求。

关键创新：ORACLE的主要创新在于其使用偏好向量进行多目标优化，允许在不同权衡设置下生成设计，而不需要重新训练模型，这与传统方法显著不同。

关键设计：在设计中，采用了归一化权重引导和余弦对齐引导策略来提高收敛速度，并结合大语言模型来过滤可能导致次优设计的动作选择。具体参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ORACLE在多个电路拓扑上表现优异，运行时间相比于最先进的方法减少了20.4倍至104.4倍，且在2000个目标规格中满足率高达99.9%。此外，ORACLE在输出规格的优良度上实现了5.1倍至318.6倍的提升。

🎯 应用场景

该研究的潜在应用领域包括电子设计自动化、集成电路设计及其他需要多目标优化的工程领域。ORACLE的框架能够显著提高设计效率，降低人工干预，具有广泛的实际价值和未来影响力。

📄 摘要（原文）

Analog circuit design automation using reinforcement learning (RL) has emerged as a promising approach for reducing manual effort. However, many existing RL-based methods focus on single-objective optimization. Even methods designed for multi-objective (MO) problems often reduce multiple design specifications to a single scalar reward. This simplification limits the ability to capture the true Pareto trade-off among competing objectives and often leads to suboptimal designs. Moreover, requiring the model to be retrained from scratch whenever the desired MO specifications change remains a key limitation. To address these challenges, we present ORACLE, an open-source RL-based framework for MO analog circuit design optimization that replaces scalar reward optimization with vector-valued learning and preference-aware conditioning. ORACLE represents a true MO analog circuit design optimizer that uses a preference vector to specify the relative weights of multiple objectives, enabling a single trained model to generate designs across diverse trade-off settings without retraining. We further propose two preference-guidance strategies, namely normalized-weight guidance and cosine-aligned guidance, to improve convergence. In addition, we incorporate a large language model (LLM)-guided action selection mechanism to filter actions that are likely to lead to suboptimal designs or increased runtime. Our results show that, on multiple circuit topologies with 2,000 test cases, ORACLE reduces runtime by 20.4x - 104.4x compared to state-of-the-art approaches. It also meets 99.9% of the 2,000 target specifications, and achieves 5.1x - 318.6x better figure of merit in the resulting output specs.