AWS SageMaker 部署开源大语言模型实战指南

本文详细介绍如何在 AWS SageMaker 上使用 HuggingFace 容器部署开源大语言模型（如 Mistral、Llama 2），涵盖模型打包、端点创建和推理调用的完整流程。

大语言模型如 Mistral、Llama 2 等在自然语言处理任务中表现出色，但本地部署往往面临硬件资源限制和运维复杂度高的挑战。AWS SageMaker 通过提供托管的基础设施和预配置的容器镜像，让开发者可以专注于模型应用本身，而无需担心底层基础设施的管理。

整个部署流程遵循清晰的数据流向：

1. 模型获取：从 HuggingFace Model Hub 下载预训练模型
2. 存储准备：将模型工件上传至 S3 存储桶
3. 模型注册：在 SageMaker 中创建模型对象
4. 端点部署：创建 SageMaker 推理端点
5. 客户端调用：通过 API 调用端点进行推理

SageMaker 使用 HuggingFace 深度学习容器（DLC）作为运行时环境，支持 GPU 加速，例如 ml.g5.2xlarge 实例配备 A10G GPU，能够满足大模型的推理需求。

以下是使用 SageMaker Python SDK 部署 Mistral-7B 模型的完整示例：

import sagemaker
from sagemaker.huggingface import HuggingFaceModel

# 获取执行角色
role = sagemaker.get_execution_role()

# 配置模型环境变量
hub = {
    'HF_MODEL_ID': 'mistralai/Mistral-7B-Instruct-v0.2',
    'SM_NUM_GPUS': '1'
}

# 创建 HuggingFace 模型对象
model = HuggingFaceModel(
    env=hub,
    role=role,
    transformers_version='4.37',
    pytorch_version='2.1',
    py_version='py310',
)

# 部署模型到端点
predictor = model.deploy(
    initial_instance_count=1,
    instance_type='ml.g5.2xlarge',
)

# 执行推理
response = predictor.predict({
    "inputs": "What is machine learning?",
    "parameters": {"max_new_tokens": 256, "temperature": 0.7}
})
print(response[0]['generated_text'])

代码中指定了 transformers_version='4.37' 和 pytorch_version='2.1'，这确保使用兼容的深度学习容器。选择合适的版本对于模型正常运行至关重要，不同版本的 Transformers 和 PyTorch 可能对某些模型架构的支持存在差异。

SM_NUM_GPUS 环境变量设置为 '1'，表示使用单 GPU 进行推理。对于更大的模型，可以考虑使用多 GPU 配置或选择更高规格的实例类型。

示例中展示了如何通过 parameters 字段控制生成行为：

• max_new_tokens：限制生成文本的最大长度
• temperature：控制输出的随机性，值越低结果越确定

测试完成后，应及时删除端点以避免产生不必要的费用：

predictor.delete_endpoint()