从零构建NLP流水线：Word2Vec与命名实体识别的双轨实现

本开源项目构建端到端NLP处理流水线，涵盖词嵌入学习（Word2Vec Skip-Gram负采样）和命名实体识别（NER）两大任务。NER任务采用双轨实现：隐马尔可夫模型（HMM）与前馈神经网络，为学习者提供理论与实践结合的范例，帮助理解统计方法与深度学习的异同。

NLP作为AI核心领域，需深厚理论与工程能力，但学习者常难以将算法转化为代码，或理解不同技术路线的联系。本项目通过端到端流水线及双轨实现策略，解决上述问题，让学习者直观对比方法差异，深化算法理解。

词嵌入是现代NLP基石，项目选用Word2Vec的Skip-Gram架构+负采样优化。Skip-Gram核心是用中心词预测上下文词，适合大规模语料及低频词学习。实现需关注窗口大小（语义范围）、负采样率（效率与质量平衡）等细节。训练后的词嵌入可用于词语相似度计算、类比关系发现等下游任务。

NER是信息抽取核心任务，项目提供两种实现：

1. HMM：统计方法，将NER建模为序列标注问题，依赖初始状态、转移、发射概率，解码用维特比算法。优点是理论成熟、可解释性强；缺点是特征工程受限，难捕捉长距离依赖。
2. 前馈神经网络：深度学习方法，用词嵌入（如Word2Vec输出）转化词语为向量，输入多层网络分类。优点是自动学习特征，捕捉复杂模式，可整合更多上下文信息。

项目亮点在于端到端流水线设计：先通过Skip-Gram学习词嵌入，再作为NER输入。模块化设计提升代码复用性，符合机器学习工程最佳实践。学习者可从代码中收获数据预处理（清洗、分词、词汇表构建）、模型训练（学习率调度、早停）、评估指标（精确率、召回率、F1-score）等实践技巧。

不同读者可差异化学习：

• 初学者：从HMM实现开始，理解统计方法与维特比算法，再过渡到神经网络，体会表示学习魅力。
• 深度学习经验者：重点关注Word2Vec细节（负采样、层次化Softmax、子采样高频词）。
• 面试/复习者：覆盖高频考点（词嵌入原理、序列标注解码、统计与神经网络对比），串联知识点成系统网络。

Transformer和LLM虽受关注，但Word2Vec、HMM等经典方法仍有价值：助于把握NLP发展脉络，在资源受限场景（边缘设备、低延迟）发挥作用。本项目为NLP教育社区贡献宝贵资源，平衡理论深度与工程可及性，是值得深入研究的开源仓库。