CircuitReason-1k: Benchmarking Long-Horizon Visual-to-Symbolic Reasoning inElectrical Circuits
作者: Xinqi Yang, Kang An, Tengyue Wang, Zhongyu Yang, Chenxu Du, Yuanchi Zhu, Hebao Zhu, Ziliang Wang, Faqiang Qian, Yunli Yang, Qibing Ren
分类: cs.AI, cs.CV
发布日期: 2026-08-10
💡 一句话要点
提出CircuitReason-1k基准以评估电路的视觉到符号推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电路分析 视觉推理 符号推理 多模态学习 基准测试 长时域推理 人工智能
📋 核心要点
- 电路分析面临的挑战在于需要综合考虑多个因素，而现有方法在长时域推理上表现不佳。
- 本文提出了CircuitReason-1k基准，通过1000个电路问题来评估视觉到符号推理的完整过程。
- 实验结果显示，最佳系统在准确率上达到了84.8%，但在长时域问题上性能下降明显。
📝 摘要（中文）
电路分析不仅仅是识别图像中的组件，还需要将符号和标签与实际电路拓扑相结合，选择物理模型，建立耦合方程，传播中间量，并保持单位、符号、方向和相位约定。本文介绍了CircuitReason-1k，这是一个包含1000个真实教科书问题的基准，用于评估这一完整的长时域视觉到符号推理过程。每个问题都配有电路图、独立问题、类型化或语义指定的答案以及参考解答。通过证据优先的构建流程对问题、图形和解答进行对齐，并通过推理导向的分类法按电路类型和依赖深度组织问题。评估结合了保守的类型评分和身份盲多模型语义共识，确保每个问题都被纳入评估。尽管在三个商业聊天机器人系统和六个开源多模态大语言模型中，表现最佳的系统达到了84.8%的准确率，但在长时域问题上的性能持续下降，定性分析揭示了拓扑与目标绑定、物理约定和后期输出传播的持续失败。
🔬 方法详解
问题定义：本文旨在解决电路分析中视觉到符号推理的完整性问题，现有方法在处理长时域推理时存在性能下降和推理失败的痛点。
核心思路：提出CircuitReason-1k基准，通过构建真实的电路问题和解决方案，评估多模态模型在技术视觉证据转化为符号推理的能力。
技术框架：整体架构包括问题构建、证据优先的对齐流程和推理导向的分类法，主要模块包括电路图、问题、答案和参考解答。
关键创新：最重要的创新在于引入了证据优先的构建流程和推理导向的分类法，这与现有方法的单一问题评估方式有本质区别。
关键设计：在参数设置上，采用了保守的类型评分和身份盲的多模型语义共识，确保每个问题都被纳入评估，提升了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳系统在三个商业聊天机器人和六个开源多模态大语言模型中达到了84.8%的准确率，然而在长时域问题上的性能显著下降，揭示了当前模型在复杂推理任务中的局限性。
🎯 应用场景
该研究的潜在应用领域包括教育、工程和自动化设计等，能够帮助学生和工程师更好地理解电路分析过程，并推动相关领域的技术进步。未来，该基准可能成为电路推理和多模态学习研究的重要参考。
📄 摘要（原文）
Electrical circuit analysis requires more than recognizing components in an image. A solver must ground symbols and labels, recover latent topology, select a physical model, formulate coupled equations, propagate intermediate quantities, and preserve units, signs, directions, and phase conventions. We introduce \benchmark, a benchmark of 1,000 authentic textbook problems for evaluating this complete long-horizon visual-to-symbolic reasoning process. Each problem pairs one or more circuit diagrams with a self-contained question, a typed or semantically specified answer, and a reference worked solution. An evidence-first construction pipeline aligns questions, figures, and solutions, while a reasoning-oriented taxonomy organizes problems by circuit type and dependency depth. Evaluation combines conservative typed scoring with identity-blinded multi-model semantic consensus, retaining every problem in the denominator. Across three commercial chatbot systems and six open-source multimodal large language models, the highest-scoring system reaches 84.8\% accuracy. However, performance consistently deteriorates on long-horizon problems, and qualitative analysis exposes persistent failures in topology-to-target binding, physical conventions, and late-stage output propagation. \benchmark{} provides a focused testbed for measuring whether multimodal models can transform technical visual evidence into sustained, physically valid symbolic reasoning. Code are available at GitHub - CircuitReason/CircuitReason1K.