RTX 3090上的个人LLM推理基准测试：消费级硬件的大模型实践

该项目由mkhasykov在GitHub上维护（项目链接：https://github.com/mkhasykov/llm-inference，更新时间2026-05-24），核心是在单张RTX3090显卡的WSL2 Ubuntu环境下进行个人LLM推理基准测试，探索消费级硬件运行大语言模型的性能表现与优化策略，为个人开发者、研究者、学生及爱好者提供实用的本地部署参考。

大语言模型通常被认为需要专业硬件，但模型压缩技术和推理框架进步使消费级硬件运行LLM成为可能。RTX3090作为消费级显卡中显存较大（24GB）、架构先进（Ampere）、价格亲民且保有量高的型号，是理想的测试硬件；WSL2则是许多Windows用户的实际选择，该项目在此配置下展开探索。

RTX3090硬件特性：基于Ampere架构，含10496个CUDA核心、24GB GDDR6X显存（936GB/s带宽）、第三代Tensor Core等，24GB显存可支持量化后的30-40B参数模型，13B及以下模型有充足KV缓存空间。 WSL2环境考量：共享Windows驱动，需安装CUDA Toolkit，可能有轻微性能损失，需注意内存配置与文件系统优化。 推理框架选择：项目可能测试llama.cpp（高度优化、低显存）、vLLM（高吞吐）、Hugging Face Transformers（通用易用）、TensorRT-LLM（极致性能）等框架。

基准测试维度：涵盖延迟（首token/每token/端到端）、吞吐（tokens/秒、并发、批处理）、资源使用（显存、GPU利用率、功耗）、模型覆盖（不同规模、量化、架构）。 优化策略：量化技术（INT8/INT4/GPTQ/GGUF等）、内存优化（KV缓存管理、分块加载、CPU offloading）、推理优化（FlashAttention、连续批处理、投机解码）。

WSL2配置建议：设置足够内存（如24GB）、使用WSL ext4分区存放模型、匹配CUDA版本、考虑Docker部署。 常见问题解决：OOM错误可重启或调整batch size，性能波动需监控I/O瓶颈，确保驱动与CUDA兼容。 性能预期：Llama-2-7B（INT4约100-150 tokens/秒）、13B（INT4约60-90）、70B（INT4约10-20，需优化），实际性能依赖实现与输入输出长度。

项目价值：降低LLM本地运行门槛，提供真实性能参考与配置经验，指导硬件选择（显存优先、量化必选）。 局限性：结果受个人配置、软件版本影响，测试范围有限。 未来展望：硬件（更大显存、新架构）、软件（更好量化、高效注意力）、模型（MoE、蒸馏模型）等方向将持续优化。

该项目是务实的工程探索，聚焦个人硬件上LLM推理的实际表现，为普通开发者提供"能做什么"和"怎么做"的宝贵资源。其脚踏实地的方法与"试试看"的精神，在AI快速发展的今天尤为珍贵，是本地运行LLM的良好起点。