Bibliothèque Française LLM：为大型语言模型优化的法语公版文献索引系统

项目背景：LLM 时代的文学数字化挑战\n\n随着大型语言模型（LLM）在文本理解、生成和分析方面的能力不断提升，越来越多的研究者开始探索将 AI 应用于文学研究、人文计算和文化遗产保护领域。然而，现有的数字化文献资源往往存在格式不统一、元数据缺失、访问接口复杂等问题，使得 LLM 难以直接有效地利用这些宝贵的文化资源。\n\n法语作为世界上重要的文学语言之一，拥有从文艺复兴到现代主义的丰富文学遗产。这些公版文献（domaine public）本应是 LLM 训练和文化研究的优质语料，但分散在不同平台、格式各异、缺乏统一索引的现状，严重限制了其可用性。\n\nBibliothèque Française LLM 项目正是为了解决这一痛点而诞生的。它不仅仅是一个简单的文献收集项目，更是一个专门为 LLM consumption 优化的结构化索引和标注系统，让 AI 能够像人类学者一样"阅读"和"理解"法语文学经典。\n\n## 核心理念：Mode Histoire\n\n项目的法语名称"Mode Histoire"（历史模式）揭示了其核心理念：创建一个让 LLM 能够以"历史阅读"模式导航、阅读和解读法语文学的系统。这种模式强调：\n\n- 结构化索引：按体裁、作者、时代等维度组织文献\n- 深度标注：对戏剧、小说等不同体裁提供针对性的语义标注\n- 格式优化：提供适合 LLM 摄取的 Markdown、JSONL 等结构化格式\n- 元数据丰富：包含创作背景、文学流派、历史语境等上下文信息\n\n## 数据来源：六大权威语料库\n\n项目整合了六个主要的法语公版文献来源，覆盖从古典戏剧到现代小说的广泛领域：\n\n### 1. Common Corpus (Pleias)\n\nCommon Corpus 是 Pleias 组织维护的大规模法语语料库，包含文学、新闻和官方文档，总规模达 1100 亿词。该语料经过精心筛选和清洗，质量优良，是训练法语 LLM 的重要资源。\n\n### 2. French-PD-Books (Pleias)\n\n同样来自 Pleias，这个数据集包含从 Gallica（法国国家图书馆数字图书馆）提取的约 28.9 万本图书，总计 164 亿词。虽然 OCR 质量需要进一步校正，但其规模使其成为不可替代的资源。\n\n### 3. DraCor — fre\n\nDraCor（Drama Corpora）是一个专门收集戏剧文本的项目，其法语部分（fre）收录了从 16 世纪到 20 世纪的 1560 部法语戏剧。所有文本均采用 TEI（Text Encoding Initiative）标准进行深度标注，包含角色、台词、舞台说明等结构化信息，并提供 REST API 访问。这是研究法语戏剧文学的宝贵资源。\n\n### 4. Wikisource\n\nWikisource 是维基媒体基金会旗下的自由文本库，其法语部分包含约 5 万部经过人工校对的高质量文献。这些文本的准确性和完整性在公版文献资源中首屈一指。\n\n### 5. Project Gutenberg\n\n古腾堡计划的法语文学收藏约 4 万部，虽然主要基于美国公版法律，但仍包含大量有价值的法语经典。\n\n### 6. Ebooks libres et gratuits\n\n这是一个专门收集法语经典文学的网站，收录约 2500 部作品，质量良好但缺乏 API 接口。\n\n## 技术架构：面向 LLM 的数据处理流程\n\n项目采用模块化的技术架构，确保从原始数据到 LLM-ready 格式的全流程可追溯和可复现：\n\n### 索引层（index/）\n\n使用 Parquet 和 JSONL 格式存储文献元数据索引，支持高效的筛选和检索。索引字段包括：\n- 体裁（戏剧、小说、诗歌、散文等）\n- 作者（姓名、生卒年、文学流派）\n- 时代（世纪、文学时期）\n- 来源（语料库归属）\n- 元数据（页数、词数、主题标签等）\n\n### 来源层（sources/）\n\n为每个数据源提供专门的提取脚本，处理不同平台的 API 和数据格式差异：\n- DraCor API 客户端\n- Common Corpus Parquet 处理器\n- Wikisource MediaWiki API 客户端\n- Gallica OCR 文本提取器\n\n### 标注层（annotations/）\n\n针对不同体裁定义标注模式（schema）：\n\n戏剧标注模式：\n- 角色信息（名称、描述、关系）\n- 台词分割与说话人标注\n- 舞台说明（动作、场景、道具）\n- 幕/场结构标记\n- 语调标注（独白、旁白、对话）\n\n小说标注模式（规划中）：\n- 章节结构\n- 叙事视角\n- 时空标记\n- 人物关系网络\n\n### 格式层（formats/）\n\n定义 LLM 优化的输出格式规范：\n- Markdown：保留原文结构，添加语义标记\n- JSONL：每行一个结构化文档，便于流式处理\n- TEI XML：保留完整的学术标注信息\n\n### 工具层（tools/）\n\n提供数据转换和清洗工具：\n- OCR 后处理与错误校正\n- 格式转换器\n- 文本标准化（拼写规范化、标点统一）\n- 质量评估工具\n\n## 当前进展与路线图\n\n项目目前处于早期开发阶段，已明确以下优先任务：\n\n### 第一阶段：基础设施搭建\n1. 连接 DraCor API，获取 1560 部法语戏剧的结构化数据\n2. 探索 Common Corpus 的 Parquet 格式数据（1100 亿词法语语料）\n3. 定义索引 schema（体裁、作者、时代、元数据）\n4. 定义戏剧标注格式（角色、台词、舞台说明）\n\n### 第二阶段：数据整合与清洗\n1. 批量导入 Wikisource 的高质量文本\n2. 开发 French-PD-Books 的 OCR 校正工作流\n3. 建立跨来源的去重机制\n4. 实现元数据补全（缺失的作者信息、创作年代等）\n\n### 第三阶段：LLM 优化与工具开发\n1. 开发针对法语古典文学的 LLM 微调数据集\n2. 构建文学知识图谱（人物、地点、事件）\n3. 实现智能检索接口（语义搜索、相似文本推荐）\n4. 开放 API 供研究者和开发者使用\n\n## 应用场景：AI 赋能法语文学研究\n\nBibliothèque Française LLM 的潜在应用场景广泛：\n\n### 文学研究辅助\n\n研究者可以利用 LLM 快速分析大量文本，回答诸如：\n- "19 世纪法国戏剧中女性角色的台词占比如何变化？"\n- "莫里哀喜剧中的社会阶层冲突有哪些典型模式？"\n- "浪漫主义诗歌中自然意象的使用频率与古典主义相比有何差异？"\n\n### 数字人文教学\n\n为学生提供可直接用于计算分析的结构化语料，降低数字人文研究的门槛。\n\n### 法语学习与语言模型训练\n\n高质量的法语古典文献是训练法语 LLM 和开发语言学习应用的重要资源。\n\n### 文化遗产保护\n\n通过数字化和结构化标注，为濒危的文学遗产建立可长期保存和访问的数字档案。\n\n## 开源与社区\n\n项目采用开放许可策略：\n- 来源文本属于公版（domaine public）\n- 项目产生的索引和标注采用 CC-BY-SA 或等效开放许可\n\n这种开放的姿态鼓励学术界、技术社区和文化机构的协作参与，共同推动法语文学数字化的发展。\n\n## 技术挑战与解决方案\n\n### 挑战一：OCR 质量参差不齐\n\n解决方案：建立多级质量控制流程，包括自动质量评分、人工抽样校验、社区众包校正等。\n\n### 挑战二：古典法语与现代法语差异\n\n解决方案：开发拼写规范化工具，将古典拼写映射到现代形式，同时保留原始文本的可追溯性。\n\n### 挑战三：元数据不完整\n\n解决方案：结合多个来源的元数据进行交叉验证和补全，必要时引入外部知识库（如 Wikidata）。\n\n### 挑战四：体裁多样性带来的标注复杂性\n\n解决方案：采用可扩展的标注模式设计，为不同体裁定义专门的标注层，同时保持核心元数据的一致性。\n\n## 相关资源\n\n- GitHub 仓库：https://github.com/Motokiyo/bibliotheque-francaise-llm\n- DraCor 法语戏剧：https://dracor.org/fre\n- Common Corpus：https://commoncrawl.org/\n- Pleias：https://pleias.fr/\n- Wikisource 法语：https://fr.wikisource.org/\n- Gallica：https://gallica.bnf.fr/\n- TEI 标准：https://tei-c.org/\n\n## 结语\n\nBibliothèque Française LLM 项目代表了人工智能时代文化遗产数字化的新方向。它不仅关注"将文献数字化"，更致力于"让数字化文献对 AI 可用"。这种以 LLM 为中心的设计理念，有望为人文研究、语言学习和文化保护开辟新的可能性。随着项目的不断推进，我们期待看到更多基于这一资源的研究成果和创新应用涌现。