从零开始构建波兰语标点恢复系统：纯GNU Octave实现的教育级NLP项目

本文介绍一个纯GNU Octave实现的波兰语标点恢复教育项目，核心目标是从零开始手工构建模型（涵盖n-gram基线到神经网络），所有数学推导与反向传播均手动完成，不依赖外部机器学习库。项目通过序列标注任务预测单词后的标点类型（无标点、逗号、句号），旨在帮助学习者深入理解深度学习原理，而非仅调用API。

波兰语因形态复杂、语序灵活，标点恢复任务具挑战性。多数NLP方案依赖PyTorch/TensorFlow等框架，本项目选择纯GNU Octave从零实现，目的是让开发者通过手工推导反向传播公式、矩阵运算及参数管理，真正掌握深度学习背后的数学本质，而非停留在高级API调用层面。

任务形式化为序列标注：给定波兰语单词，预测其后标点（NONE/COMMA/PERIOD）。训练数据来自Wolne Lektury的免费波兰文学文本，90%训练、10%测试（按文档划分避免信息泄露）。预处理包括文本清洗、分词、标签生成及词汇表构建（取训练集Top5000词）。

项目分多阶段：

• Stage0：预处理+bigram基线（基于频率统计，测试集Macro-F1=0.511，发现80.6%数据为无标点类，存在严重不平衡）；
• Stage1：单隐藏层MLP（嵌入层5000×50，隐藏层128神经元ReLU激活，输出层3类；约28.2万参数，手工实现反向传播及数值梯度检查）；
• 未来阶段：Bi-LSTM、迷你Transformer、扩展标点类型、多任务学习及REST API部署。

技术亮点：模块化代码结构（预处理、模型初始化、前向/反向传播等）；关键决策（加权交叉熵损失平衡类别、梯度裁剪防爆炸、文档级数据划分）。评估用Macro-F1（主要指标）、混淆矩阵等；基线结果显示无标点类F1达0.9255，但句号类仅0.1463，反映任务难度。

教育价值：学习者可深入理解反向传播、矩阵运算、工程细节（如类别不平衡处理）及端到端流程。项目是教育级NLP实现典范，证明无外部库也能构建深度学习系统，为希望掌握算法本质的学习者提供宝贵资源。