Azure GPU 虚拟机实战：4x V100 本地部署 70B+ 大模型的完整方案

本文详细介绍如何使用Terraform在Azure上快速部署配备4张NVIDIA V100 GPU的虚拟机，实现70B参数以上大语言模型的本地推理。涵盖基础设施自动化部署、Ollama/vLLM双引擎对比测试、成本优化策略及实际性能数据，为开发者提供可控成本下的高效大模型推理解决方案。

本地部署大模型面临硬件投入高、维护复杂、灵活性不足等痛点。Azure NC系列虚拟机提供云端GPU资源，配合Terraform实现一键部署、按需启停。项目目标包括：通过Terraform自动化部署4xV100虚拟机；预装NVIDIA驱动、CUDA、Ollama、vLLM等软件栈；提供基准测试框架对比推理引擎性能；建立可复用的部署-测试-销毁流程优化成本。

选用Azure Standard_NC24s_v3实例，配置如下：

组件	规格
GPU	4x NVIDIA Tesla V100（16GB/卡，共64GB）
vCPU	24核
内存	448GB
系统盘	256GB高级SSD
OS	Ubuntu 22.04 LTS Gen2
区域	Central US Zone1

理论64GB显存支持4-bit量化的70B模型，V100计算能力7.0，限制部分新特性（如AWQ量化）使用。

部署步骤：1. 本地安装Azure CLI并认证，确保Terraform≥1.0，准备SSH密钥；2. 执行Terraform脚本，自动创建资源组、虚拟网络、安全组及NC24s_v3虚拟机；3. 通过cloud-init安装NVIDIA 550驱动、CUDA12.4、Ollama和vLLM，约15分钟完成初始化（含重启）；4. SSH登录后用nvidia-smi验证GPU识别。

Ollama方案：极简体验，一行命令启动模型（如start-ollama-model richardyoung/kat-dev-72b:Q4_K_M），适合单用户交互，但高并发（32）错误率达99%。 vLLM方案：采用PagedAttention技术，支持OpenAI兼容API（http://<public-ip>:8000），高并发表现优异。 性能对比（Llama3.3 70B 4-bit量化）：

并发数	Ollama(tok/s)	Ollama错误率	vLLM(tok/s)	vLLM错误率	加速比
1	2.6	0%	24.4	0%	9x
8	1.1	92%	100.5	0%	91x
32	0.3	99%	277.6	0%	925x

V100支持GPTQ4-bit量化，需配合--enforce-eager --max-model-len 2048 --max-num-seqs32参数。

NC24s_v3按需价格约10美元/小时，推荐"按需部署、用完即毁"策略。对比A100实例（Standard_NC24ads_A100_v4，3.67美元/小时）：

配置	并发32 tok/s	每小时成本	每美元token数
Qwen3-Coder-30B+A100	1924	$3.67	524
Llama3.370B GPTQ+4xV100	278	$10.00	28

A100方案效率为V100的19倍，支持AWQ、FlashAttention2等先进特性。

推荐模型：

• Kimi-Dev-72B：SWE-bench达46.8%，擅长代码编辑；
• Qwen3-Coder30B：MoE架构，3.3B活跃参数，SWE-bench64.6%，单V100可运行；
• Llama3.370B：通用能力强，接近GPT-4o水平；
• DeepSeek-V3.270B蒸馏版：工具调用能力强，MIT许可商用友好。 最佳实践：用Terraform管理基础设施；生产环境优先vLLM；定期检查显存；使用destroy.sh一键清理资源。

本项目提供从基础设施到性能测试的完整云端大模型部署方案，明确不同场景下Ollama/vLLM的最优选择。4xV100方案为预算有限用户提供70B+模型推理切入点，A100升级路径则满足更高效率需求。随着开源模型生态发展，此类部署工具将进一步降低大模型应用门槛。