llm-quanta：一站式大模型量化与基准测试工具

一个统一的命令行工具，支持 GPTQ、AWQ、GGUF 等多种量化方法，自动运行基准测试并生成硬件感知的推荐报告。

随着大型语言模型（LLM）参数规模不断攀升，如何在有限硬件资源上高效部署这些模型成为开发者面临的核心挑战。量化技术通过降低模型权重精度（如从 FP16 降至 INT4/INT8），显著减少内存占用并加速推理，但现有工具生态存在明显碎片化问题。

目前，每种量化方法都有独立的实现工具：auto-gptq 专注 GPTQ 量化，autoawq 处理 AWQ，llama.cpp 负责 GGUF 格式转换。开发者需要分别学习这些工具的不同接口，手动运行基准测试，再自行对比结果。这种割裂的工作流不仅耗时，还难以获得针对特定硬件的最优配置建议。

llm-quanta 是一个开源的统一量化工具，旨在解决上述痛点。它将多种主流量化方法整合到单一命令行界面中，并内置自动化基准测试与对比报告生成功能，最终输出硬件感知的量化方案推荐。

该项目的核心定位是：不只是量化工具，而是覆盖「量化 → 测试 → 对比 → 推荐」的完整工作流解决方案。

llm-quanta 目前支持六种主流量化方案，涵盖 GPU 和 CPU 推理场景：

方法	技术原理	适用场景
GPTQ	梯度后训练量化	GPU 推理，质量与速度平衡
AWQ	激活感知权重量化	GPU 推理，追求最佳质量
BNB-NF4	BitsAndBytes 4-bit NF4	快速测试、QLoRA 微调
BNB-INT8	BitsAndBytes 8-bit	更高质量、更多显存占用
GGUF-Q4	GGUF 4-bit K-quant	CPU 推理、llama.cpp 生态
GGUF-Q8	GGUF 8-bit	CPU 推理、最佳质量

这种统一支持让开发者可以在同一套工具中评估不同量化策略，无需切换多个库或处理格式兼容问题。

通过单一命令即可对模型应用多种量化方法：

llm-quanta quantize meta-llama/Llama-2-7b-hf \
  --methods gptq awq bnb-nf4 \
  --output-dir ./quantized

量化完成后，自动运行多维度性能评估：

llm-quanta benchmark ./quantized/gptq \
  --benchmarks perplexity latency memory

测试维度包括困惑度（perplexity，衡量模型质量）、推理延迟和内存占用，全面反映量化模型的实际表现。

最具特色的功能是对比报告生成，它会根据测试结果输出针对用户硬件的优化建议：

llm-quanta compare meta-llama/Llama-2-7b-hf \
  --methods gptq awq bnb-nf4 \
  --output-dir ./comparison \
  --recommend

生成的报告包括：

• report.html：可视化对比图表
• report.md：Markdown 格式摘要
• results.csv：原始基准数据
• results.json：机器可读结果

系统会根据用户硬件配置（如 16GB GPU）给出具体建议，例如「使用 AWQ-4bit 以获得最佳质量与显存平衡」。

llm-quanta 采用模块化设计，核心组件包括：

• QuantizerRegistry：统一的量化器注册表，支持动态加载不同后端
• BenchmarkRunner：可扩展的基准测试运行器
• ReportGenerator：灵活的报告生成器，支持多种输出格式

开发者可以通过 Python API 深度集成：

from llm_quanta.quantizers import QuantizerRegistry
from llm_quanta.benchmarks import BenchmarkRunner
from llm_quanta.reports import ReportGenerator

# 获取特定量化器
quantizer = QuantizerRegistry.get("awq")
result = quantizer.quantize("meta-llama/Llama-2-7b-hf", output_dir="./quantized")

# 运行基准测试
runner = BenchmarkRunner()
benchmarks = runner.run_all("./quantized/awq")

# 生成对比报告
generator = ReportGenerator()
report = generator.generate(
    model_id="meta-llama/Llama-2-7b-hf",
    quantization_results=[result],
    benchmark_results={"awq": benchmarks},
)
report.save("./output")