大语言模型课程实践：从文本预处理到词向量与少样本学习

这份开源仓库记录了一套完整的大语言模型（LLM）课程作业体系，由学习者sepanta007整理分享。课程内容从基础文本预处理起步，逐步深入到词向量建模和基于现代预训练模型的少样本学习方法，形成从传统NLP到当代大模型技术的渐进式学习路径，涵盖IMDB数据集预处理、Word2Vec训练及少样本情感分类实战。

该课程作业体系以开源仓库形式呈现，设计思路为渐进式学习：从基础的文本预处理环节入手，逐步过渡到词向量建模，最终进阶至大模型时代的少样本学习方法，帮助学习者清晰把握NLP领域从传统技术到现代大模型的演进脉络。

第一套作业（HW1）聚焦IMDB电影评论数据的文本预处理，包含文本清洗、分词、停用词过滤、词干提取等核心步骤。需处理原始文本中的HTML标签、特殊符号、大小写统一等问题，理解不同分词策略对后续分析的影响，建立“数据质量优先”的NLP认知。

第二套作业（HW2）实现Word2Vec模型训练，涵盖CBOW（通过上下文预测中心词）和Skip-gram（通过中心词预测上下文）两种经典架构。仓库提供64维、128维词向量训练检查点，训练参数包括窗口半径5、负采样比例5、批次大小512，体现向量维度与计算成本、过拟合风险的权衡。

课程高阶部分引入少样本学习，核心为迁移学习：预训练模型通过海量文本习得语言与世界知识，面对新任务时仅需少量示例提示或轻量化微调即可快速适应。作业中通过imdb_few_shots.ipynb探索少样本情感分类，适用于标注成本高或数据稀缺场景。

课程作业以Jupyter Notebook为实验载体，便于逐段执行代码、观察结果。关键技术点包括数据加载与批量处理、神经网络前向/反向传播、损失函数与优化器配置、模型评估指标（准确率、召回率、F1分数）、检查点保存与加载机制，仓库提供训练好的模型检查点作为实践证据。

该仓库的价值在于端到端完整性与循序渐进的教学设计，帮助学习者掌握NLP技术演进脉络。扎实的基础（如Word2Vec机制、文本预处理细节）是驾驭大模型的前提，少样本学习实践是大模型落地业务场景的必备技能。

大语言模型学习需重视理论基础、数据处理流程与模型内部机制。建议在掌握Word2Vec基础上，进一步学习BERT、GPT等Transformer架构的预训练-微调范式；在少样本学习基础上，深入研究提示工程、检索增强生成（RAG）等前沿技术，扎实基础是技术进阶的起点。