Evaluation of ChatGPT's Smart Contract Auditing Capabilities Based on Chain of Thought
作者: Yuying Du, Xueyan Tang
分类: cs.CR, cs.AI
发布日期: 2024-02-19
备注: 21 pages, 10 figures
💡 一句话要点
基于思维链的GPT-4模型提升智能合约安全审计能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能合约 安全审计 漏洞检测 GPT-4 思维链 区块链技术 代码解析 概念验证
📋 核心要点
- 智能合约面临的安全漏洞问题严重，现有检测工具在识别漏洞时存在漏检现象。
- 本研究利用GPT-4模型，通过思维链提示（CoT）模拟专业审计过程，提升智能合约的安全审计能力。
- 实验结果显示，GPT-4在漏洞检测中的精确度高但召回率低，同时在代码解析和PoC编写方面表现出色，具有辅助审计的潜力。
📝 摘要（中文）
智能合约作为区块链技术的关键组成部分，在确保交易自动化和遵循协议规则方面发挥着重要作用。然而，智能合约易受安全漏洞的影响，若被利用，可能导致重大资产损失。本研究探讨了利用GPT-4模型增强智能合约安全审计的潜力。我们使用了来自SolidiFI-benchmark漏洞库的35个智能合约数据集，包含732个漏洞，并与其他五种漏洞检测工具进行了比较，以评估GPT-4识别七种常见漏洞的能力。实验结果表明，尽管GPT-4在漏洞检测中的精确度高达96.6%，但召回率仅为37.8%，F1-score为41.1%，显示出其在检测过程中容易漏掉漏洞。同时，GPT-4在合约代码解析方面表现良好，平均综合得分为6.5，并且在60%的情况下能够编写可用的概念验证（PoC），表明其在PoC编写方面具有显著的应用潜力。
🔬 方法详解
问题定义：本论文旨在解决智能合约安全审计中漏洞检测能力不足的问题。现有方法在识别漏洞时存在漏检现象，导致安全隐患未能及时发现。
核心思路：论文提出利用GPT-4模型，通过思维链提示（CoT）模拟专业审计过程，以提高智能合约的漏洞检测能力和审计效率。这样的设计旨在结合自然语言处理的优势，增强对合约代码的理解和分析。
技术框架：整体架构包括数据集构建、漏洞检测、代码解析和PoC编写四个主要模块。首先，利用SolidiFI-benchmark漏洞库构建数据集；其次，使用GPT-4进行漏洞检测和代码解析；最后，生成可用的PoC。
关键创新：最重要的技术创新在于将思维链提示（CoT）应用于智能合约审计中，使得GPT-4能够更好地模拟专业审计师的思维过程，从而提升审计的准确性和效率。
关键设计：在实验中，设置了多个参数以优化模型性能，包括提示设计、训练数据选择和评估指标。损失函数采用了适合分类任务的交叉熵损失，确保模型在漏洞检测中的精确性和召回率。整体网络结构基于GPT-4，结合了多层自注意力机制以增强对代码上下文的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在智能合约漏洞检测中的精确度高达96.6%，但召回率仅为37.8%，F1-score为41.1%，表明其在检测中存在漏检问题。同时，GPT-4在合约代码解析方面表现良好，平均综合得分为6.5，且在60%的情况下能够编写可用的PoC，显示出其在辅助审计中的潜力。
🎯 应用场景
该研究的潜在应用领域包括区块链技术的安全审计、智能合约开发和漏洞检测工具的优化。通过提升智能合约的安全性，可以有效降低资产损失风险，增强区块链应用的可信度。未来，GPT-4模型在智能合约审计中的应用可能会推动整个区块链行业的安全标准提升。
📄 摘要（原文）
Smart contracts, as a key component of blockchain technology, play a crucial role in ensuring the automation of transactions and adherence to protocol rules. However, smart contracts are susceptible to security vulnerabilities, which, if exploited, can lead to significant asset losses. This study explores the potential of enhancing smart contract security audits using the GPT-4 model. We utilized a dataset of 35 smart contracts from the SolidiFI-benchmark vulnerability library, containing 732 vulnerabilities, and compared it with five other vulnerability detection tools to evaluate GPT-4's ability to identify seven common types of vulnerabilities. Moreover, we assessed GPT-4's performance in code parsing and vulnerability capture by simulating a professional auditor's auditing process using CoT(Chain of Thought) prompts based on the audit reports of eight groups of smart contracts. We also evaluated GPT-4's ability to write Solidity Proof of Concepts (PoCs). Through experimentation, we found that GPT-4 performed poorly in detecting smart contract vulnerabilities, with a high Precision of 96.6%, but a low Recall of 37.8%, and an F1-score of 41.1%, indicating a tendency to miss vulnerabilities during detection. Meanwhile, it demonstrated good contract code parsing capabilities, with an average comprehensive score of 6.5, capable of identifying the background information and functional relationships of smart contracts; in 60% of the cases, it could write usable PoCs, suggesting GPT-4 has significant potential application in PoC writing. These experimental results indicate that GPT-4 lacks the ability to detect smart contract vulnerabilities effectively, but its performance in contract code parsing and PoC writing demonstrates its significant potential as an auxiliary tool in enhancing the efficiency and effectiveness of smart contract security audits.