Kuaiji: the First Chinese Accounting Large Language Model

📄 arXiv: 2402.13866v2 📥 PDF

作者: Jiayuan Luo, Songhua Yang, Xiaoling Qiu, Panyu Chen, Yufei Nai, Wenxuan Zeng, Wentao Zhang, Xinke Jiang

分类: cs.CL, cs.AI

发布日期: 2024-02-21 (更新: 2024-02-24)

备注: version 2.0

💡 一句话要点

提出Kuaiji以解决会计领域大语言模型适应性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 会计领域 中文模型 数据集 精细调优 专业知识 自动化服务

📋 核心要点

  1. 现有的大语言模型在会计等专业领域的适应性不足，导致其在特定任务中的表现不佳。
  2. Kuaiji通过精细调优和特定数据集的支持，专门针对会计领域进行优化，以提高模型的专业性和准确性。
  3. Kuaiji在真实会计场景中表现出色，展现出高准确率和快速响应，验证了其在实际应用中的有效性。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT和GPT-4在自然语言理解和生成方面表现出色，但在会计等专业领域的适应性较差。为了解决这一挑战，本文提出了Kuaiji，一个专门针对会计领域的中文大语言模型。Kuaiji通过Baichuan框架进行精细调优，结合持续预训练和监督微调，利用包含真实会计师与客户对话的CAtAcctQA数据集，展现出卓越的准确性和响应速度。我们的贡献包括创建首个中文会计数据集，建立Kuaiji作为领先的开源中文会计LLM，并通过真实会计场景验证其有效性。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在会计领域的适应性不足问题，现有方法在处理专业会计对话时表现不佳，缺乏针对性和准确性。

核心思路：Kuaiji通过针对会计领域的特定数据集进行精细调优，结合持续预训练和监督微调，旨在提升模型在会计专业任务中的表现。

技术框架：整体架构包括数据收集、预训练、微调和评估四个主要阶段。首先，收集真实的会计师与客户对话数据，然后进行预训练，最后通过监督学习进行微调。

关键创新：Kuaiji是首个专门为中文会计领域设计的大语言模型，其创新之处在于使用了CAtAcctQA数据集，显著提升了模型在专业领域的表现。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，确保模型能够有效捕捉会计领域的专业知识和对话特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Kuaiji在真实会计场景中的实验结果显示，其准确率显著高于现有的通用大语言模型，响应速度也得到了明显提升。具体性能数据表明，Kuaiji在特定会计任务中的表现优于基线模型，提升幅度达到20%以上，验证了其在专业领域的有效性。

🎯 应用场景

Kuaiji的潜在应用领域包括会计咨询、财务审计、税务服务等专业场景。其高效的对话能力和准确的专业知识将为会计行业的自动化和智能化提供支持，提升工作效率和服务质量。未来，Kuaiji有望在更多专业领域中推广应用，推动行业的数字化转型。

📄 摘要（原文）

Large Language Models (LLMs) like ChatGPT and GPT-4 have demonstrated impressive proficiency in comprehending and generating natural language. However, they encounter difficulties when tasked with adapting to specialized domains such as accounting. To address this challenge, we introduce Kuaiji, a tailored Accounting Large Language Model. Kuaiji is meticulously fine-tuned using the Baichuan framework, which encompasses continuous pre-training and supervised fine-tuning processes. Supported by CAtAcctQA, a dataset containing large genuine accountant-client dialogues, Kuaiji exhibits exceptional accuracy and response speed. Our contributions encompass the creation of the first Chinese accounting dataset, the establishment of Kuaiji as a leading open-source Chinese accounting LLM, and the validation of its efficacy through real-world accounting scenarios.