Optimizing and Fine-tuning Large Language Model for Urban Renewal

📄 arXiv: 2311.15490v1 📥 PDF

作者: Xi Wang, Xianyao Ling, Tom Zhang, Xuecao Li, Shaolan Wang, Zhixing Li, Liang Zhang, Peng Gong

分类: cs.CL, cs.AI

发布日期: 2023-11-27

备注: 11 pages, 2 figures, 2 tables, 41 references

💡 一句话要点

提出联合微调方法以优化城市更新领域的大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 城市更新 知识问答 微调方法 数据生成 Prefix LoRA ChatGLM

📋 核心要点

  1. 现有方法在城市更新领域的知识问答任务中，缺乏高质量的QA数据集，导致模型性能受限。
  2. 本研究提出了一种基于ChatGLM的联合微调方法，通过自动生成QA数据集并进行微调，提升模型在城市更新领域的应用能力。
  3. 实验结果显示，联合微调方法在Bleu和Rouge指标上相较于LoRA微调提升约5%，与未微调模型相比提升约15%-20%。

📝 摘要（中文）

本研究旨在创新性地探索大语言模型（LLM）在城市更新中的自适应应用，并提升其在知识问答（QA）任务中的性能和文本生成质量。基于ChatGLM，我们利用城市更新科学文献语料库以自我指导的方式自动生成QA数据集，并采用Prefix和LoRA微调方法对模型进行联合微调训练，从而创建适用于城市更新的LLM。实验结果表明，所提出的联合微调训练方法显著提高了LLM在QA任务上的表现，相较于LoRA微调，测试中的Bleu和Rouge指标提高了约5%；与微调前的模型相比，指标提升约15%-20%。本研究展示了使用Prefix和LoRA联合微调方法在城市更新知识QA任务中的有效性和优越性，为LLM在城市更新相关任务的微调提供了新思路。

🔬 方法详解

问题定义：本研究旨在解决城市更新领域知识问答任务中缺乏高质量QA数据集的问题。现有方法在数据生成和模型微调方面存在不足，限制了模型的实际应用效果。

核心思路：论文提出通过自我指导的方式自动生成QA数据集，并结合Prefix和LoRA微调方法对模型进行联合微调，以提升大语言模型在城市更新领域的表现。这样的设计旨在快速获取领域特定数据，增强模型的适应性和生成质量。

技术框架：整体架构包括数据生成模块和微调训练模块。首先，利用城市更新相关文献生成QA数据集；然后，采用Prefix和LoRA方法对ChatGLM进行联合微调训练，以优化模型性能。

关键创新：本研究的主要创新在于联合使用Prefix和LoRA微调方法，显著提升了模型在城市更新知识问答任务中的表现。这一方法在数据生成和模型训练的结合上具有独特性，与传统单一微调方法相比，能够更有效地利用领域知识。

关键设计：在微调过程中，设置了适当的学习率和损失函数，以确保模型在QA任务中的稳定性和准确性。网络结构上，结合了多层Transformer架构，以增强模型的上下文理解能力。

📊 实验亮点

实验结果表明，所提出的联合微调方法在QA任务中表现优异。与LoRA微调相比，Bleu和Rouge指标提升约5%；与未微调模型相比，指标提升约15%-20%。这些结果验证了该方法在城市更新领域的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、社区发展和政策制定等。通过提供高质量的QA数据集和优化的大语言模型，可以支持决策者在城市更新过程中更好地理解和处理相关问题，提升政策的科学性和有效性。未来，该方法还可扩展至其他领域的知识问答任务，具有广泛的应用价值。

📄 摘要（原文）

This study aims to innovatively explore adaptive applications of large language models (LLM) in urban renewal. It also aims to improve its performance and text generation quality for knowledge question-answering (QA) tasks. Based on the ChatGLM, we automatically generate QA datasets using urban renewal scientific literature corpora in a self-instruct manner and then conduct joint fine-tuning training on the model using the Prefix and LoRA fine-tuning methods to create an LLM for urban renewal. By guiding the LLM to automatically generate QA data based on prompt words and given text, it is possible to quickly obtain datasets in the urban renewal field and provide data support for the fine-tuning training of LLMs. The experimental results show that the joint fine-tuning training method proposed in this study can significantly improve the performance of LLM on the QA tasks. Compared with LoRA fine-tuning, the method improves the Bleu and Rouge metrics on the test by about 5%; compared with the model before fine-tuning, the method improves the Bleu and Rouge metrics by about 15%-20%. This study demonstrates the effectiveness and superiority of the joint fine-tuning method using Prefix and LoRA for ChatGLM in the urban renewal knowledge QA tasks. It provides a new approach for fine-tuning LLMs on urban renewal-related tasks.