康奈尔 CS 4782 课程项目：LoRA 低秩适配方法的复现与验证

本项目是康奈尔大学CS4782课程的期末项目，旨在复现LoRA（低秩适配）论文的核心实验，验证其在参数高效微调中的有效性。实验基于GPT-2 Small模型和E2E NLG数据集，结果表明LoRA仅需使用0.06%到0.24%的可训练参数，即可达到接近全量微调的性能，为大语言模型的高效适配提供了实证支持。

大语言模型全量微调需更新数亿甚至数千亿参数，计算与存储成本高昂。LoRA提出冻结预训练模型，仅训练注入注意力层的低秩适配矩阵，理论上可大幅减少可训练参数并保持性能。本项目选择复现LoRA原论文Table3结果，在GPT-2和E2E NLG文本生成任务上对比全量微调与LoRA的表现差异，验证其理论优势的实际有效性。

实验选用GPT-2 Small作为基础模型，E2E NLG Challenge（数据到文本生成任务）作为评测基准。LoRA实现上，在GPT-2的注意力查询和值投影层注入可训练低秩矩阵，冻结基础模型参数；设置r=2、r=4、r=8三种秩值，并探索分阶段增加秩值的Sequential LoRA变体。评测指标采用文本生成标准指标BLEU和ROUGE-L（百分制）。

实验结果显示LoRA的参数效率优势显著：

• 全量微调需训练1.2444亿参数（100%），BLEU 64.76、ROUGE-L 68.24；
• LoRA r=2：7.37万参数（0.0592%），BLEU64.20、ROUGE-L67.39；
• LoRA r=4：14.75万参数（0.1184%），BLEU64.34、ROUGE-L67.87；
• LoRA r=8：29.49万参数（0.2364%），BLEU65.21（略超全量微调）、ROUGE-L67.23（与全量微调差距<1分）。 Sequential LoRA表现有竞争力，但未明显超越固定r=8的标准LoRA。

复现的主要挑战是正确包装GPT-2的打包注意力投影并验证基础参数冻结，团队通过test_lora.py等单元测试确保LoRA层正确性。工具方面使用HuggingFace Transformers库、PyTorch框架，依赖管理通过requirements.txt，实验在Google Colab的A100 GPU上运行。项目结构清晰：code/存核心实现、data/管数据集、results/存结果、poster/和report/含课程海报与报告；实验通过Jupyter Notebook驱动，E2E数据集自动下载，确保可复现性。

本项目成功验证LoRA的有效性：仅用不到0.25%的可训练参数，LoRA在E2E NLG任务上达到与全量微调相当的性能。教学上，让学生深入理解LoRA机制并掌握参数高效微调细节；研究上，为社区提供独立验证的LoRA实现，增强原论文结果可信度。开放问题包括：Sequential LoRA的最优增长策略、秩值选择的任务依赖性、在更大模型上的效率保持等，值得后续探索。