1Cat-vLLM：为Tesla V100 GPU优化的AWQ 4位推理引擎

1Cat-vLLM是基于vLLM推理引擎、专为Tesla V100 GPU定制的优化方案，核心特性包括支持AWQ 4位量化精度、兼容CUDA 12.8、验证支持Qwen3.5 27B/35B等大模型，且适用于多GPU部署环境。该项目旨在帮助拥有V100硬件的用户充分发挥其潜力，在不升级新硬件的情况下运行现代大语言模型。

随着AI算力需求增长，新旗舰GPU（如A100、H100）价格高昂，而Tesla V100作为上一代数据中心GPU，虽纸面规格不及新品，但二手市场价格亲民且仍在大量服役。V100的主要限制在于显存容量和缺少新架构特性（如稀疏性加速），但量化技术可缓解这些问题，1Cat-vLLM正是针对此需求开发。

AWQ 4位量化：激活感知的权重量化方法，保护重要权重通道，使模型显存占用降至1/8（如27B模型从54GB→13.5GB），同时减少内存带宽需求，配合vLLM的PagedAttention提升推理速度。

CUDA12.8支持：带来最新驱动优化、库函数改进（如cuBLAS/cuDNN），提升推理性能，并与PyTorch 2.x等框架保持兼容。

1Cat-vLLM已验证支持Qwen3.5 27B/35B模型。Qwen3.5是阿里云通义千问团队的最新模型，在中文理解、代码生成等基准测试中表现优异。通过AWQ量化，这些模型可在V100上运行，让用户无需新硬件即可享受现代AI能力，尤其适合中文场景需求。

1Cat-vLLM支持多GPU部署，优势包括：1）模型并行处理更大模型；2）数据并行提升吞吐量；3）提高系统可用性。针对V100的PCIe/NVLink连接，项目优化了张量并行和流水线并行，最大化多卡协同效率。

目标用户：拥有V100的研究机构/高校、预算有限的中小企业、数据隐私敏感的组织。

典型场景：内部知识库问答、文档分析与摘要、代码辅助审查、客服对话系统等（对吞吐量和成本敏感，无需极高单请求延迟）。

部署注意：1）安装支持CUDA12.8的驱动（535+版本）；2）准备对应模型的AWQ量化文件；3）确保充足系统内存和CPU核心。

调优建议：调整批处理大小（max_num_seqs）、KV缓存比例；启用连续批处理（continuous batching）提升吞吐量；根据实际场景做基准测试找最佳配置。

局限性：V100不支持FP8计算、Transformer Engine等新特性，显存带宽（32GB版本为900GB/s）低于A100（2039GB/s），在某些场景性能受限。

未来：更优量化方法、高效注意力机制可延长老旧硬件寿命；混合部署（V100用于批处理，新硬件用于实时任务）或成资源优化方向。