LLM-based Models for Detecting Emerging Topics in Service Feedback
作者: Mahsa Tavakoli, Ruth Bankey, Cristián Bravo
分类: cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出基于LLM的模型以检测服务反馈中的新兴主题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 服务反馈分析 人机协作 公共部门 服务质量 多语言处理 公平性 决策支持
📋 核心要点
- 现有方法依赖人工审查和静态指标，难以应对日益增长的服务反馈量和复杂性。
- 论文提出结合LLMs与人机协作的框架，以提高多语言客户反馈的分析效率和准确性。
- 实验结果显示，该方法在专家判断一致性上优于传统基线模型，提升了分析的可靠性和相关性。
📝 摘要（中文）
提升服务反馈分析对公共部门组织至关重要，尤其是税务机构，信任和合规性依赖于公平和有效的服务交付。随着反馈量的增加，识别新兴的服务质量问题和不同人群之间的潜在差异变得愈加困难。传统方法通常依赖于人工审查或静态专家定义的指标，限制了可扩展性和捕捉文本反馈中复杂模式的能力。本文提出了一种新颖的方法，结合大型语言模型（LLMs）、统计技术和人机协作，以改善多语言客户反馈分析。主要目标是检测新兴的服务质量主题，可能揭示服务交付中的潜在不平等。通过与专家监督相结合，所提出的框架能够产生准确、计算效率高且具有上下文意识的分析。实验结果表明，该方法在与专家判断的一致性上优于基线模型。
🔬 方法详解
问题定义：本文旨在解决公共部门组织在分析多语言服务反馈时面临的挑战，尤其是如何有效识别新兴的服务质量问题和潜在的不平等现象。现有方法多依赖人工审查，难以扩展和捕捉复杂的反馈模式。
核心思路：论文的核心思路是通过结合大型语言模型（LLMs）与人机协作，利用LLMs的强大文本处理能力和专家的判断力，提升服务反馈分析的准确性和效率。这样的设计旨在克服传统方法的局限性，实现更灵活和动态的分析。
技术框架：整体架构包括数据收集、LLM模型的微调与量化、专家监督和反馈分析四个主要模块。首先收集多语言客户反馈数据，然后对LLM进行微调以适应特定任务，接着引入专家进行监督，最后进行分析和结果生成。
关键创新：最重要的技术创新在于将LLMs与人机协作相结合，形成一个“人机协同”的分析框架。这一方法不仅提高了分析的准确性，还减少了LLM生成内容的失真，增强了分析结果的可靠性。
关键设计：在技术细节上，模型的微调采用了特定的损失函数以优化服务质量主题的识别，同时在量化过程中确保计算效率。此外，专家的反馈机制设计为动态调整模型输出，确保分析结果的上下文相关性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在与专家判断的一致性上显著优于传统基线模型，具体表现为在相似性分析中取得了更高的准确率和可靠性。这一提升为公共部门的决策提供了更为坚实的依据。
🎯 应用场景
该研究的潜在应用领域包括公共部门的服务质量监测、客户反馈分析和政策制定等。通过更有效的分析多语言反馈，组织能够更好地识别服务中的不平等现象，从而提升服务质量和公众信任。未来，该方法可能扩展到其他领域，如医疗、教育等，促进更公平的服务交付。
📄 摘要（原文）
Enhancing the analysis of service feedback is essential for public sector organizations, particularly tax administrations, where trust and compliance depend on fair and effective service delivery. As feedback volumes grow, identifying emerging service quality issues and potential disparities across diverse populations becomes increasingly challenging. Traditional approaches often rely on manual review or static expert-defined indicators, limiting scalability and the ability to capture complex patterns in textual feedback. This paper presents a novel methodology that integrates large language models (LLMs), statistical techniques, and human-AI collaboration to improve multilingual customer feedback analysis. The primary objective is to detect emerging service quality topics that may also reveal potential inequities in service delivery. Our framework combines fine-tuned, quantized LLMs with expert oversight to produce accurate, computationally efficient, and context-aware analyses. The proposed approach was evaluated using similarity analysis and assessments from experienced tax officers, demonstrating stronger alignment with expert judgments than baseline models. By incorporating a human-in-the-loop framework, the methodology reduces LLM fabrication while improving the reliability and relevance of generated insights. The results demonstrate the practicality of combining LLMs with human expertise to support scalable, evidence-based decision-making in public sector organizations. This work contributes to the development of responsible AI systems that enhance service quality, responsiveness, fairness, and public trust through more effective analysis of multilingual customer feedback.