Designing an Auditable LLM-Supported Workflow for Qualitative Thematic Analysis
作者: Nadia Jul Jeldtoft, Tariq Yousef
分类: cs.AI, cs.SE
发布日期: 2026-08-31
💡 一句话要点
提出可审计的LLM支持定性主题分析工作流程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 定性分析 主题分析 可审计性 隐私保护 计算社会科学 数据分析
📋 核心要点
- 现有的LLM应用在定性分析中缺乏方法论透明度，难以有效转换定性方法为计算程序。
- 本文提出了一种结合LLM推理与确定性控制的两阶段工作流程，确保分析过程的可审计性与隐私保护。
- 实验结果显示，该工作流程在代码输出覆盖率上与人工注释相当，且生成的主题结构更为简洁，具有较高的分析质量。
📝 摘要（中文）
大型语言模型（LLMs）为定性分析的规模化提供了新可能，但现有应用在方法透明度方面存在不足。本文提出了一种可审计且保护隐私的计算操作化方法，针对归纳和潜在主题分析（TA）进行了设计。首先，从TA的方法论要求和LLM推理条件中导出了五个设计原则。其次，提出了一个两阶段的工作流程，通过结合解释性LLM推理与确定性程序控制，生成代码、分析理由、主题及主题描述，同时保持与源材料的明确联系。最后，构建了一个评估框架，结合结构比较与专家评估，结果表明该工作流程在代码输出覆盖率上与人工注释相当，且分析理由评价较高，主题结构更为压缩，主题数量较少但范围更广。
🔬 方法详解
问题定义：本文旨在解决现有LLM在定性主题分析中缺乏透明度和可审计性的问题，现有方法往往无法清晰展示定性分析的计算过程。
核心思路：通过设计一个可审计的工作流程，将LLM推理与确定性程序控制相结合，以确保分析过程的透明性和可追溯性。
技术框架：整体架构分为两个阶段：第一阶段为LLM推理，生成初步代码和分析理由；第二阶段为确定性控制，生成主题及其描述，并保持与源材料的链接。
关键创新：最重要的创新在于提出了五个设计原则，确保LLM推理过程中的解释性、可追溯性和隐私保护，这与现有方法的随机性和不透明性形成鲜明对比。
关键设计：在参数设置上，设计了特定的提示策略以适应不同的研究领域，确保LLM的推理过程能够有效地支持定性分析的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该工作流程在代码输出覆盖率上与人工注释相当，且分析理由获得了高评价，主题结构更为压缩，主题数量减少但范围更广，展示了LLM支持的定性分析的可行性。
🎯 应用场景
该研究的潜在应用领域包括社会科学、市场研究和人文领域等，能够帮助研究人员在处理大规模定性数据时，保持分析的透明性和可审计性。未来，该方法可扩展至其他研究领域，提升定性分析的效率与质量。
📄 摘要（原文）
Large Language Models (LLMs) offer new possibilities for scaling qualitative analysis, but existing applications often provide limited methodological transparency regarding how qualitative methods are translated into computational procedures. This paper presents an auditable and privacy-preserving computational operationalization of inductive and latent Thematic Analysis (TA). This paper first derives five design principles from the methodological requirements of TA and the conditions introduced by LLM-based inference: preserving interpretative context, maintaining traceable relationships between empirical material and analytical outputs, representing analytical constructs and reasoning explicitly, constraining LLM inference to interpretative tasks, and enabling privacy-preserving local deployment. Second, it presents a proof-of-concept for a two-phase workflow that operationalizes these principles by combining interpretative LLM inference with deterministic procedural control to generate codes, analytical justifications, themes, and theme descriptions while preserving explicit links to the source material. Third, it proposes an evaluation framework combining structural comparison with human-led TA and independent expert assessment of analytical quality. The evaluation is conducted on semi-structured Danish interview transcripts. and the results shows that the workflow produces code-level outputs with coverage broadly comparable to human annotations and highly rated analytical justifications, while generating a more compressed thematic structure characterized by fewer and broader themes. The findings demonstrate the feasibility of auditable LLM-supported TA through a modular workflow designed to scale to larger datasets, accommodate different LLMs, and support transfer across research domains, with domain adaptation primarily requiring adjustments to the prompting strategy.