LCATS：用大语言模型重构文学文本分析的开源工具系统

LCATS（文学船长咨询工具系统）是一个将传统文本处理技术与现代大语言模型能力相结合的综合工具包，支持文学分析、故事提取和语料库研究。

在人工智能快速发展的今天，大语言模型（LLM）已经展现出强大的文本理解和生成能力。然而，将这些能力应用于文学研究、语料库分析等传统人文领域时，研究者往往面临工具碎片化、流程不统一的问题。LCATS（Literary Captain's Advisory Tool System，文学船长咨询工具系统）正是为解决这一痛点而生——它是一个将传统文本处理技术与现代大语言模型能力相结合的综合工具包。

LCATS 由开发者 xenotaur 开源发布，旨在为文学分析、故事提取和基于语料库的研究提供一站式解决方案。该系统的核心理念是：将 LLM 的智能与经典文本处理方法的可靠性相结合，打造既强大又可解释的文学研究工具。

项目包含多个精心设计的组件：

• lcats Python 包：核心的文本语料库创建与分析库
• 故事语料库：以 JSON 格式整理的公共领域文学作品集
• 分析工具：文本分块、提取和故事分析功能
• 数据采集器：从 Project Gutenberg 等来源自动采集数据
• 处理管道：灵活的多阶段处理框架
• 命令行界面：易于使用的 CLI，支持常见操作

LCATS 使用 tiktoken 进行 token 感知的文本分割，这对于处理长篇小说或复杂叙事文本至关重要。传统的按字符数分割往往会破坏语义完整性，而 LCATS 的智能分块确保每个片段都保持可理解的上下文。

这是 LCATS 最具特色的功能之一。用户可以通过模板定义提取需求，系统利用 OpenAI API 从故事中自动提取结构化信息。例如，可以提取故事事件、人物关系、情感走向等，输出为 JSON 格式便于后续分析。

项目内置了大量公共领域文学作品，涵盖多个经典作家：

• 安徒生：经典童话与故事
• 格林兄弟：德国传统民间故事
• 柯南·道尔：福尔摩斯探案系列
• 切斯特顿：布朗神父侦探故事
• 洛夫克拉夫特：克苏鲁神话系列
• 欧·亨利：以意外结局著称的短篇小说
• 王尔德：包括《快乐王子》等文学作品
• 杰克·伦敦：冒险与自然主义小说
• 海明威：现代主义短篇小说
• 沃德豪斯：幽默小说

每部作品都以统一的 JSON 结构存储，包含标题、正文、作者、年份、来源 URL 等完整元数据。

LCATS 采用模块化设计，核心代码位于 lcats/ 目录下：

• stories.py：故事和语料库类定义
• pipeline.py：处理管道框架
• chunking.py：文本分块工具
• extraction.py：基于 LLM 的数据提取
• analysis/：文本分析和指标计算
• gatherers/：数据采集模块
• cli.py：命令行界面

项目使用 Python 3.6+ 开发，依赖管理通过 pyproject.toml 完成。对于需要使用 LLM 功能的用户，需要配置 OpenAI API 密钥。

LCATS 的应用场景十分广泛：

学术研究：文学研究者可以利用 LCATS 快速建立特定主题或作者的语料库，进行大规模的文本分析。例如，分析某个时期文学作品中特定意象的使用频率，或追踪叙事模式的演变。

创意写作：作家和编剧可以使用故事提取功能分析经典作品的结构，学习叙事技巧。通过对比不同作者的风格特征，获得创作灵感。

教育应用：教师可以利用内置的经典文学作品库，为学生设计比较阅读作业。系统支持按作者、体裁、年代等多维度筛选，方便课程设计。

AI 训练数据准备：对于需要高质量文学文本作为训练数据的 AI 项目，LCATS 提供了经过清洗和结构化处理的现成语料。