LLM学习之旅：从词嵌入到Transformer架构的完整实践指南

Ananyagawade12的LLMs仓库记录了从基础词嵌入到现代Transformer架构的完整学习探索历程，涵盖经典词嵌入技术、Transformer变体、位置编码、归一化技术、模型评估及提示工程等内容，通过实现与实验结合形成结构化学习体系，为不同背景的NLP/LLM学习者提供参考路径。

该仓库以"学习旅程"为定位，区别于仅提供代码的仓库，记录学习过程中的思考、实验和比较分析，涵盖NLP基础概念、经典技术、现代架构及优化方法，形成完整学习体系，为开发者、研究者或学生提供可参考的学习路线图。

词嵌入是NLP基石，将离散词汇映射为连续向量。仓库探讨三种主流技术：

• Word2Vec：通过预测上下文/目标词学习词向量；
• FastText：引入子词信息，处理罕见词和未登录词；
• GloVe：利用全局词-词共现统计学习词向量。 包含对比实验分析不同技术在语义任务表现、语义关系及计算效率差异。

Transformer是现代LLM核心，仓库涵盖多种变体：

• BERT：双向编码器，通过掩码语言模型和下一句预测预训练；
• IndicBERT：针对印度语言优化的BERT变体；
• BART：结合双向编码器与自回归解码器，适用于文本生成。 深度解析注意力机制，包括自注意力计算、多头注意力设计及权重可视化。

位置编码

Transformer需位置编码注入序列顺序：

• 绝对位置编码：正弦/余弦函数生成唯一编码；
• 相对位置编码：编码位置间相对关系；
• RoPE：旋转矩阵融入注意力计算，具更好外推能力。

归一化技术

深层网络训练需归一化：

• LayerNorm：样本特征维度归一化；
• RMSNorm：LayerNorm简化版，去除均值中心化；
• pRMSNorm：引入可学习缩放参数。 包含对比实验展示不同任务和模型深度下的表现差异。

模型评估

• 序列生成任务：CER、WER、BLEU、chrF++、BERTScore；
• 分类任务：准确率、精确率、召回率、F1 Score。

提示工程

• Zero-Shot Prompting：直接任务描述；
• One-Shot Prompting：提供一个示例；
• Few-Shot Prompting：多个示例学习任务模式。

学习收获

1. NLP管道完整流程的直觉理解；
2. 从传统嵌入到LLM的技术演进脉络；
3. Transformer内部机制的深入理解；
4. 多模型变体的实现与评估经验。

对学习者价值

• 初学者：按结构循序渐进学习，通过代码和实验巩固理论；
• 有经验开发者：快速查阅特定技术细节；
• 研究者：对比实验和评估指标实现可作为研究起点。

技术栈推断

主要语言Python，深度学习框架PyTorch/TensorFlow，分词工具Hugging Face Tokenizers/SentencePiece，评估库可能用NLTK、JiWER等。