伊斯坦布尔海峡大学的LLM推理框架评测：vLLM与PagedAttention深度剖析

来自土耳其Boğaziçi大学（伊斯坦布尔海峡大学）的毕业设计项目PERFORMANCE-EVALUATIONS-OF-LLM-INFERENCE-FRAMEWORKS开源发布，系统性评测主流LLM推理框架，重点分析vLLM及其核心PagedAttention机制，为生产环境框架选型提供数据支撑。本文将解读该项目的研究成果与实践价值。

Boğaziçi大学成立于1863年，是土耳其历史最悠久、学术声誉最高的学府之一，工程学院在中东地区享有盛誉。该毕业设计项目由计算机工程系高年级学生团队完成，目标包括：建立系统化LLM推理框架评测方法论；量化分析vLLM的PagedAttention机制收益；对比vLLM、TensorRT-LLM、DeepSpeed-Inference等框架性能特征；为生产环境框架选型提供数据支撑。

测试模型：Llama-2-7B/13B/70B、Mistral-7B-Instruct、OPT-13B； 数据集：短文本生成（<500 tokens）、长文本生成（1k-4k tokens）、混合负载； 评测指标：吞吐量（Token Throughput、Request Throughput、TTFT、TPOT）、资源效率（GPU内存利用率、KV Cache效率、能耗）、服务质量（P99延迟、吞吐-延迟权衡）； 硬件环境：NVIDIA A100 80GB SXM4、AMD EPYC 7742（64核心）、512GB DDR4、InfiniBand HDR。

vLLM的PagedAttention机制借鉴虚拟内存管理思想，解决传统KV Cache的内存浪费、碎片化、无法动态扩展问题。评测结果显示：高并发场景下，vLLM吞吐量比Hugging Face Transformers提升3-5倍，显存利用率达85%+，P99延迟降低60%；变长序列场景碎片率降至<5%；Beam Search场景显存占用减少40-60%。 框架对比：TensorRT-LLM单卡性能优但编译时间长；DeepSpeed-Inference多卡扩展性好但单卡吞吐低；llama.cpp适合CPU推理但GPU利用率低。

选型建议：追求极致吞吐选vLLM；单卡最低延迟选TensorRT-LLM；超大规模模型用DeepSpeed-Inference+vLLM；边缘/CPU部署选llama.cpp。 调优建议：block_size默认16，短序列可试8；启用CPU offload（--swap-space4）支持更长上下文；用priority调度优化多租户公平性。 局限：模型覆盖有限（缺MoE架构）、硬件单一（仅A100）、测试用合成数据。 未来方向：多模态推理优化、投机解码与PagedAttention结合、异构计算分析。 总结：该项目为LLM推理框架评测提供宝贵实践，验证内存管理优化的关键影响，对部署工程师有重要参考价值。项目地址：https://github.com/erayyuklu/PERFORMANCE-EVALUATIONS-OF-LLM-INFERENCE-FRAMEWORKS。