mlx-swift-chain：Apple Silicon上的本地LLM长文档处理框架

mlx-swift-chain是专为MLX Swift设计的文档处理链框架，旨在解决Apple Silicon设备上本地LLM的上下文瓶颈问题，提供Stuff、MapReduce、Adaptive三种处理策略，支持专业分块器，实现完全本地、隐私优先的长文档推理，并集成SwiftUI组件便于应用开发。

在Apple Silicon设备上运行本地LLM是保护隐私的重要选择，但本地模型通常受限于较小上下文窗口（如Gemma仅8192 token）。长文档（如2万词）截断会丢失关键信息，mlx-swift-chain应运而生，专注于模型层之上的长文档推理，实现完全本地私有处理。

三大处理策略

• StuffChain：文本可放入上下文时单次调用，零额外开销。
• MapReduceChain：超长文档分块推理（Map）后合并归约（Reduce），支持递归归约。
• AdaptiveChain：默认推荐，根据输入长度等自动选择Stuff/MapReduce。

专业分块器

针对特定文档类型优化：TranscriptChunker（会议记录）、MarkdownHeadingChunker（MD文档）、DocumentStructureChunker（PDF/结构化文档）、LogChunker（Xcode日志）、AppleCrashReportChunker（崩溃报告）、CodeBlockAwareChunker（含代码块MD）。

Token预算管理

AdaptiveChain综合系统提示词、任务提示词、输入长度及预留输出token（默认512）决策，支持精确token计数或启发式估算，避免提示词占用过多上下文。

SwiftUI集成

提供@Observable且@MainActor的ChainRunner组件，支持实时显示处理阶段、流式token输出、ChainResult结果（含源chunk引用和性能指标），原生Swift设计无Python桥接或HTTP开销。

隐私优先设计

• 所有处理设备端完成，无需网络
• 支持完全离线场景
• 无遥测、无数据上报
• 源文本引用可追溯结论出处

典型应用

• 会议记录摘要：提取关键决策与行动项，保留发言者归属
• 开发日志分析：定位Xcode构建/测试崩溃根因
• 离线文档阅读：生成分层摘要
• 个人语音备忘录：整理为行动清单

生态协作

mlx-swift-chain作为MLX Swift上层补充，专注文档分块、提示预算、结果归约等编排问题，底层模型加载与推理由MLX生态处理。

性能最佳实践

• 默认单并发（maxConcurrentMapTasks:1）适配Apple Silicon GPU序列化推理
• 流式输出开销极小，MLXBackend内部默认使用streamResponse

mlx-swift-chain填补了Apple生态中本地LLM长文档处理的重要空白，通过智能编排和分治策略扩展底层模型实用边界，为重视隐私、需设备端处理敏感长文档的开发者提供了实用工具。