LLM辅助质性分析：自动化主题编码管道的实现与评估

研究背景与问题

质性研究中的主题分析（Thematic Analysis）是理解文本数据深层含义的重要方法，但传统的人工编码过程耗时费力，尤其当面对大规模调查数据时，研究者往往需要在深度与广度之间做出妥协。随着大语言模型（LLM）能力的快速提升，一个自然的问题浮现：AI能否在保持分析质量的同时，实现质性研究的规模化处理？

丹麦技术大学（DTU）的一项学士学位论文项目正是围绕这一问题展开，探索使用LLM进行自动化主题编码的可行性。

研究设计与数据来源

数据集构成

研究使用了来自Lyngs等人"Ulysses in Cyberspace"研究的调查数据，包含276名参与者在2021年至2022年间六个工作坊期间提供的自由文本反思。参与者的人口统计学特征如下：

• 性别分布：156名女性，109名男性，其余为非二元性别、自我描述或未披露
• 年龄结构：主要集中在18至29岁年龄段
• 教育背景：博士、本科和硕士水平的学生分布相对均匀
• 数据收集时间跨度：2021年3月至2022年10/11月的六个学期

分析框架

研究采用了Lyngs等人建立的主题分类体系作为参照标准：

关注点类别（C1-C4）：参与者对数字分心的各种担忧

触发因素类别：

• 外部触发因素（TE1、TE2）：来自环境的干扰源
• 内部触发因素（TI1、TI2、TI3）：来自个体内部的干扰源

三阶段编码管道设计

项目实现了一个系统化的三阶段分析管道，模拟传统质性分析的完整流程：

第一阶段：开放式编码（Open Coding）

在此阶段，LLM对每个调查响应进行细粒度的开放编码，提取关键概念和初步主题。这一阶段的目标是保持对数据的开放性，避免过早的理论预设影响编码结果。

第二阶段：主题生成（Theme Generation）

基于第一阶段产生的编码，模型进行聚类分析，将相似的编码归并为更高层次的主题。这一阶段模拟了质性研究中的主题归纳过程，从具体编码上升到抽象主题。

第三阶段：演绎编码（Deductive Coding）

在最后一阶段，模型将每个响应映射到Lyngs等人建立的参照分类体系中，实现标准化的分类标注。这一阶段检验了LLM在应用既有理论框架时的准确性和一致性。

多模型比较实验

研究设计了一个公平比较框架，使用相同的管道逻辑在四种不同的语言模型上运行：

商业API模型

• Claude：通过Anthropic API访问，以其长上下文和推理能力著称
• GPT：通过Azure OpenAI服务访问，代表主流商业大模型性能

开源本地模型

• Qwen 7B：阿里通义千问的中等规模版本，测试本地部署的可行性
• Qwen 32B：更大规模的开源模型，探索参数量对质性分析任务的影响

所有模型使用相同的温度参数和提示策略，确保结果的可比性。输出文件采用统一的命名规范（stage1_、stage2_、stage3_前缀），便于跨模型比较。

技术实现细节

环境配置

项目要求Python 3.11或更高版本，依赖管理清晰：

pip install pandas openpyxl tqdm matplotlib numpy ollama openai anthropic python-dotenv

本地模型部署

对于Qwen系列模型，项目使用Ollama框架进行本地部署：

ollama pull qwen2.5:7b
ollama pull qwen3:32b

这种方式避免了API调用成本，同时保护敏感数据的隐私安全。

API密钥管理

项目采用环境变量管理API密钥，通过python-dotenv加载配置：

ANTHROPIC_API_KEY=your_key_here
AZURE_OPENAI_API_KEY=your_key_here
AZURE_OPENAI_ENDPOINT=your_endpoint_here

.gitignore中排除了.env文件，防止敏感信息意外提交。

数据预处理与描述性分析

项目包含完整的数据预处理流程，生成多项描述性统计图表：

• 参与者人口统计学分布
• 各学期响应率变化
• 词频统计与关键词提取
• 单字概念计数
• 双词搭配分析

这些分析为理解数据特征和验证样本代表性提供了基础。

研究发现与方法论反思

LLM在质性分析中的优势

研究表明，LLM在以下方面展现出潜力：

• 处理速度：能够在较短时间内完成大量文本的编码工作
• 一致性：对相同样本的编码结果具有较高的一致性
• 可扩展性：能够处理传统方法难以应对的大规模数据集

局限性与挑战

研究也揭示了当前方法的局限：

• 模型版本依赖性：LLM行为受模型版本和解码参数影响，相同输入在不同时间可能产生略有差异的结果
• 语境理解深度：相比经验丰富的质性研究者，LLM可能对某些微妙的语境线索理解不够深入
• 反思性局限：传统质性分析强调研究者的反思性（reflexivity），而当前LLM难以模拟这一人类特质

伦理考量

项目严格遵循数据伦理规范：

• 使用原始研究获得的伦理审批
• 数据匿名化处理，仅保留分析所需的自由文本列
• 敏感数据不出境，本地模型选项保护隐私

对研究实践的启示

人机协作模式

该研究提示了一种新的研究范式：LLM辅助而非替代人类研究者。具体而言：

• LLM可承担初步编码和主题生成的机械性工作
• 人类研究者专注于解释性分析、理论建构和质量把控
• 这种人机协作模式可能显著提升质性研究的效率

方法论创新

项目展示了计算社会科学方法论的演进方向：

• 从简单的词频统计到深层的语义理解
• 从单一模型到多模型比较验证
• 从探索性分析到标准化管道

技术贡献与可复现性

项目的开源实现为后续研究提供了重要基础：

• 完整的Jupyter Notebook实现，便于理解和修改
• 统一的输出格式，支持跨研究比较
• 详细的依赖说明和部署指南
• 引用规范，尊重原始研究的知识产权

未来研究方向

基于当前工作，可进一步探索的方向包括：

• 引入更多样化的LLM进行更广泛的比较研究
• 开发人机交互式编码界面，结合机器效率和人类判断
• 探索少样本学习（few-shot learning）在提升编码质量方面的潜力
• 建立LLM辅助质性分析的质量评估标准
• 扩展到其他类型的质性数据（访谈记录、观察笔记等）

总结

LLM Automated Thematic Analysis项目代表了质性研究方法学与人工智能技术融合的前沿探索。通过构建标准化的三阶段编码管道，并在多个大语言模型上进行系统比较，研究为LLM辅助质性分析的可行性和局限性提供了实证证据。

这一工作的价值不仅在于技术实现本身，更在于它引发的方法论反思：在AI时代，质性研究如何在保持其解释深度和反思性的同时，借助计算工具提升效率和规模？答案或许不在于选择人工或机器，而在于探索人机协作的最优模式——让AI承担可规模化的编码工作，同时保留人类研究者在理论建构和意义阐释方面的核心角色。

对于计算社会科学、数字人文学科以及任何需要处理大规模文本数据的研究领域，这项工作都提供了有价值的参考框架。随着大语言模型能力的持续提升和方法论的不断完善，LLM辅助质性分析有望成为学术研究的标准工具之一，开启质性研究的新篇章。