本地大语言模型部署必备：VRAM Calculator 帮你精准估算 GPU 资源需求

一款浏览器端的本地 LLM 资源估算工具，支持从 Hugging Face 直接导入模型、多种量化格式、多 GPU 并行策略，还能计算电费与碳排放成本。

VRAM Calculator 是一个完全基于浏览器的本地 LLM 资源估算器，无需安装任何软件，打开网页即可使用。它的核心目标是帮助用户在部署前准确预估 GPU 显存需求、推理性能以及运营成本，避免盲目尝试导致的时间浪费。

工具支持直接从 Hugging Face Hub 导入模型元数据，并配有自动补全搜索功能。这意味着你不需要手动输入复杂的模型参数，只需搜索模型名称，工具就能自动获取所需的配置信息。

现代 LLM 架构日趋复杂，从传统的 Dense 模型到混合专家模型（MoE），显存计算方式差异很大。VRAM Calculator 内置了对这两种架构的支持，并且能够准确计算 GQA（Grouped Query Attention）和 MQA（Multi-Query Attention）的 KV Cache 大小。

在量化支持方面，工具覆盖了当前主流的多种格式：GGUF、GPTQ、AWQ、EXL2 以及 BitsAndBytes/NF4。更重要的是，它能够自动检测量化配置，用户不需要深入了解每种量化方案的技术细节，工具会自动处理相应的计算逻辑。

对于大模型推理，单卡显存往往捉襟见肘。VRAM Calculator 支持两种主流的多 GPU 并行策略：张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）。前者适用于 NVLink/NVSwitch 互联的高端显卡，后者则更适合显存较小但数量较多的 GPU 集群。

工具还提供了 RAM 卸载（RAM Offloading）分析功能，能够检测 PCIe 和内存带宽瓶颈。当你不得不将部分模型权重卸载到系统内存时，这个功能可以帮助你预估性能损失，避免「能跑但慢得无法接受」的尴尬局面。

除了显存计算，VRAM Calculator 还内置了 Roofline 性能模型，可以估算以下关键指标：

• Prefill 速度：处理输入提示的速度
• Decode 速度：生成 token 的速度
• TTFT（Time To First Token）：首 token 延迟
• 吞吐量：单位时间内生成的 token 数量

更实用的是成本估算功能。工具可以根据你的电价和 GPU 功耗，计算出每百万 token 的电费成本，甚至估算碳排放量。对于需要长期运行模型的用户来说，这些数据对于预算规划至关重要。

工具内置了丰富的预设，覆盖主流 GPU 和模型：

GPU 预设：H200、H100（SXM/PCIe）、A100（40/80GB）、A6000 Ada、RTX 4090、RTX 3090、L40S、MI300X、MI250X

模型预设：Llama 3.1（8B/70B/405B）、Mistral 7B、Mixtral 8x7B/8x22B、Qwen 2.5 72B、DeepSeek R1 671B、Qwen 3.6 35B-A3B、Gemma 4、Phi-3 Mini

如果预设不满足需求，用户也可以自定义 GPU 配置，灵活适应各种硬件环境。

VRAM Calculator 基于 Hugo 静态网站生成器构建，前端代码完全开源。项目结构清晰，核心计算逻辑位于 assets/js/calculator.js，模型和 GPU 预设存储在 assets/js/data/ 目录下。

开发者可以通过以下命令本地运行：

# 开发模式
hugo server -D

# 生产构建
hugo --minify

构建后的站点可通过任何静态托管服务部署，也可以直接本地打开使用。

VRAM Calculator 适合以下人群：

• 计划本地部署 LLM 但不确定硬件配置是否足够的个人用户
• 需要为客户提供硬件选型建议的技术顾问
• 研究不同量化方案对性能和成本影响的工程师
• 关注 AI 模型碳足迹的环保意识用户

这款工具的价值在于将复杂的显存计算和性能建模封装成直观的可视化界面，让用户在动手部署之前就能做出明智的决策。如果你正在规划本地 LLM 部署，不妨先用它算一算。