Efficient Containers：构建环保且可复现的机器学习实验环境

一个基于容器的工具包，通过Docker容器化和CodeCarbon能耗监控，实现可复用、高效且环保的机器学习实验。

该项目基于三个核心原则构建：可复用性、高效性和能源意识。通过Docker容器化技术，实验环境可以被完整封装并在不同机器间无缝迁移；通过CodeCarbon集成，研究人员可以实时监控和记录实验的碳足迹，为绿色AI实践提供数据支持。

Docker作为环境封装系统，将运行所需的一切整合到"镜像"中。这些镜像具有可复现性，可以从Docker Hub推送和拉取。这确保了跨机器的一致性，并提供了出色的可移植性：镜像可以从Docker Hub拉取并在本地工作站或HPC集群（通过Apptainer）上运行。

项目提供了三个精心设计的容器化机器学习实验，覆盖了不同的模型架构和任务类型：

ResNet18-CIFAR10：从零开始的图像分类

这个实验展示了如何在CIFAR-10数据集上从头训练ResNet18模型。CIFAR-10是计算机视觉领域的经典基准数据集，包含10个类别的60000张32x32彩色图像。通过这个实验，研究人员可以了解卷积神经网络的基础训练流程，以及如何在容器环境中管理数据加载、模型训练和评估。

BERT-GLUE：预训练模型的微调

第二个实验专注于自然语言处理领域，展示了如何在GLUE数据集的SST2（斯坦福情感树库）任务上对BERT-Base模型进行微调。这代表了现代NLP工作流的典型模式：使用大规模预训练模型，在特定下游任务上进行迁移学习。实验涵盖了文本数据处理、分词、模型微调和情感分类评估的完整流程。

ResNet50-Tent：测试时自适应

第三个实验引入了更高级的技术——测试时自适应（Test-Time Adaptation）。使用Tent方法，ResNet50模型可以在ImageNet-C数据集上进行测试时自适应，提高模型在分布外数据上的鲁棒性。这展示了容器环境如何支持前沿的机器学习研究。

项目的一个突出特点是集成了CodeCarbon工具，用于监控实验的环境影响。CodeCarbon能够测量CPU、GPU和RAM的功耗、总能源使用量（千瓦时）以及硬件利用率。

数据可以存储在本地或云端：

• 本地模式：能源指标自动保存到每个实验文件夹的emissions/emissions.csv中
• 云端模式（可选）：如果拥有CodeCarbon账户，可以提供CODECARBON_API_TOKEN和CODECARBON_EXPERIMENT_ID作为环境变量，将数据同步到Web仪表板

这种设计使研究人员能够：

• 量化不同模型和训练策略的能源成本
• 比较各种实验配置的碳效率
• 为绿色AI研究提供实证数据
• 在论文报告中包含环境影响指标

每个实验文件夹都包含独立的Dockerfile、源代码和README.md，提供了运行和开发代码的详细说明。这种模块化设计使得：

• 每个实验可以独立运行，互不干扰
• 用户可以选择性地克隆和运行感兴趣的实验
• 实验环境可以轻松扩展和定制
• 代码和依赖关系清晰分离

项目还提供了绘图代码，用于可视化能源排放数据。这帮助研究人员直观地理解实验的能源消耗模式，识别优化机会。

该项目适用于多种使用场景：

学术研究：研究人员可以使用标准化的容器环境进行实验，确保结果可复现，同时记录能源消耗用于论文报告。

教学演示：教师可以利用预配置的实验环境，让学生专注于机器学习概念本身，而不是环境配置问题。

工业实践：企业数据科学团队可以借鉴项目结构，构建内部的容器化ML实验平台，提高团队协作效率。

绿色AI倡议：对于关注AI环境影响的组织，该项目提供了实用的工具和最佳实践，帮助减少ML工作负载的碳足迹。

项目的使用流程简洁明了：

git clone git@github.com:vivianwhite/efficient_containers.git
cd efficient_containers

然后导航到任意实验文件夹，按照本地README.md的说明操作即可。每个实验都有清晰的步骤指引，从镜像构建到容器运行，再到结果查看。

随着大型语言模型和深度学习模型的规模不断增长，AI训练的能源消耗问题日益严峻。有研究估计，训练一个大型语言模型的碳足迹相当于多辆汽车一生的排放量。在这种背景下，"efficient_containers"项目提供的不仅是技术工具，更是一种负责任的研究态度。

通过量化和可视化能源消耗，研究人员可以：

• 在设计实验时考虑能源效率
• 比较不同模型架构的能源成本效益
• 识别和消除不必要的计算浪费
• 为绿色AI最佳实践贡献数据