LLM Inference：管理学量化文本研究的新三角测量方法

本文介绍开源工具llm-inference，将大语言模型（LLM）推理框架引入管理学量化文本研究，提供六步工作流实现传统词典分析与LLM推理的三角验证，旨在提升量化文本研究的信度和效度。该工具配套Tim Hubbard等人的论文，为研究者提供标准化整合路径。

研究背景与动机

在管理学和组织行为学研究中，传统词典计数方法（如Loughran-McDonald、LIWC）虽具可解释性和可重复性，但难以捕捉复杂构念；LLM虽文本理解能力强，却缺乏系统性整合进学术研究的标准化框架。

近期《Journal of Management Studies》方法特刊收录相关论文，提出六步工作流整合LLM推理与传统方法，配套开源工具llm-inference已发布。

六步工作流框架

1. 理论阐述：明确构念定义、操作化、量表锚点、假设及预注册元数据，确立理论框架。
2. 数据整理：上传/连接语料库，通过效度仪表板检查数据质量。
3. 传统分析：用词典计数生成基准测量指标。
4. LLM微观推理：核心创新，基于构念让LLM评分，含子样复核、全库自动评分及偏差分析。
5. LLM宏观推理：归纳式发现潜在信号，生成候选变量用于探索性回归。
6. 整合与报告：整合结果做联合回归，生成可复现包（数据、表格、附录等）。

技术架构与设计理念

技术栈：前端Next.js 15 App Router，后端FastAPI风格Python部署于Vercel。

设计理念：

• 隐私优先：语料库仅内存处理，结果直接流式传输到本地。
• 自带密钥（BYOK）：用户提供API密钥，灵活且保护数据。
• 可复现性：生成含模型信息、参数、提示词等的复现清单。
• 可扩展性：MIT许可证下的monorepo结构，支持插件扩展。

对研究实践的意义

该工具推动三角测量范式，帮助研究者：

• 评估LLM在特定构念测量的准确性与偏差
• 识别传统方法遗漏的语义维度
• 增强研究发现的稳健性与可信度
• 满足顶级期刊对方法透明度和可复现性的要求

为管理学学者提供LLM推理入门路径，降低方法创新门槛。

部署与使用

• 项目管理：pnpm工作空间，支持本地开发和Vercel一键部署。
• 本地要求：Node 20+、pnpm 9+、Python 3.12+，数据库用Neon Postgres（欧盟区域GDPR合规）。
• 演示版本：审稿人可通过密码解锁服务器端API密钥（每会话限额约2美元），无需自备密钥测试核心功能。

结语

llm-inference代表计算社会科学方法论演进的重要节点，并非替代传统方法，而是提供系统性整合框架。随着LLM在学术应用增多，强调三角验证、透明度和可复现性的工具将成为提升研究质量的关键基础设施。