POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

📄 arXiv: 2606.23533v1 📥 PDF

作者: Hung Phan, Aniroop Naladala, Dubey Avanindra, Supryia Chinthavali, Lunga Dalton, Ali Jannesari

分类: cs.AI

发布日期: 2026-06-22

备注: Data Science paper

💡 一句话要点

提出POTracker以解决电力中断报告生成的标准化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电力中断报告 大型语言模型 标准化生成 损失函数 文本生成 结构相似性 模型微调

📋 核心要点

  1. 现有的大型语言模型在特定领域生成中存在格式和结构遵循的困难，导致生成结果不符合行业标准。
  2. POTracker通过微调Qwen2.5-7B-Instruct，并引入新的损失函数POTrackerLoss，优化电力中断报告的生成过程。
  3. 实验结果显示，POTracker在生成电力中断报告时，整体准确率提高了51%，结构准确率达到86.47%。

📝 摘要（中文）

近年来，尽管大型语言模型在文本生成方面表现良好，但在特定领域的数据生成中仍面临挑战，尤其是需要遵循严格格式和结构规则的任务。本文研究了美国电力中断报告的全国互操作性问题，提出了POTracker，一个优化的大型语言模型，用于电力中断报告生成。通过对Qwen2.5-7B-Instruct进行微调，提出了一种新的损失函数POTrackerLoss，考虑了生成报告与真实报告之间的文本相似性和结构相似性。实验结果表明，POTracker在1000个电力中断报告的数据集上表现优异，整体准确率提高了51%，结构准确率达86.47%。

🔬 方法详解

问题定义：本文旨在解决电力中断报告生成中的标准化问题，现有方法在生成时难以满足行业监管机构的格式要求，导致生成结果不符合预期。

核心思路：POTracker的核心思路是通过引入新的损失函数POTrackerLoss，综合考虑文本相似性和结构相似性，从而提高生成报告的质量和合规性。

技术框架：POTracker的整体架构包括数据预处理、模型微调和生成报告三个主要阶段。首先，对数据进行清洗和标注，然后使用微调的Qwen2.5-7B-Instruct模型进行训练，最后生成符合标准的电力中断报告。

关键创新：POTracker的关键创新在于提出了POTrackerLoss损失函数，该函数同时考虑文本内容和结构标签的相似性，显著提升了生成报告的准确性和合规性。

关键设计：在模型微调过程中，采用了特定的参数设置，以确保模型能够有效学习到电力中断报告的格式要求，同时在损失函数中引入了结构相似性度量，以提高生成结果的结构一致性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

POTracker在电力中断报告生成任务中表现出色，整体准确率提高了51%，结构准确率达86.47%。与五种知名微调方法和一种基于规则的XML转换方法相比，POTracker的性能显著优于其他方法，显示出其在特定领域生成任务中的有效性。

🎯 应用场景

POTracker的研究成果在电力行业具有广泛的应用潜力，能够帮助电力公司生成符合监管要求的中断报告，提高报告的准确性和可读性。此外，该技术也可扩展到其他需要遵循严格格式的领域，如医疗报告、法律文书等，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent large language models (LLMs) are good at general text generation, but it is still hard to use them for domain-specific data generation because the output must follow strict formatting and structural rules. Unlike open-ended tasks such as question answering or translation, domain-specific generation must be both semantically correct and compliant with existing guidelines and standards. In this work, we study the nationwide interoperability problem of utility power outage reports in the United States. In practice, outage reports need to be machine-readable (e.g., JSON or XML) and must strictly follow requirements from energy-sector regulatory bodies. To address this problem, we propose POTracker, an optimized LLM for power outage report generation. We fine-tune Qwen2.5-7B-Instruct using our proposed objective. The key contribution is a new loss function, POTrackerLoss, that considers both textual similarity and structural (tag) similarity between the generated report and the ground-truth report. We evaluate POTracker on a dataset of 1,000 power outage reports and compare it with five well-known fine-tuning methods and one rule-based XML conversion method. Results show that POTracker outperforms other fine-tuning approaches, improving overall accuracy by up to 51% and reaching 86.47% structural accuracy for generated power outage reports. In addition, we conduct a human study to assess the quality of the ground-truth standard reports, where domain experts assign the generated labels an average score of 4.03 on a 0--5 scale.