AutoInfer：硬件自适应的大语言模型推理优化框架

AutoInfer是一款硬件自适应的大语言模型推理优化框架，旨在解决推理优化中过度关注token生成速度而忽视质量损失的问题。它提出质量调整吞吐量（tok/s × quality_score）指标，通过贝叶斯优化自动寻找速度与质量的最佳平衡点，让每块GPU都能发挥最大效能。

在大语言模型实际部署中，推理优化常陷入过度关注token生成速度（tok/s）而忽视输出质量的误区。例如，IQ2_M量化模型以21.6 tok/s运行，可能因困惑度退化而效果差于12.3 tok/s的Q3_K_M版本。此外，手动调参存在非可复制性，最优配置因硬件型号、量化级别、驱动版本而异，每次更换需重新繁琐搜索。

AutoInfer提出质量调整吞吐量作为优化目标，计算公式为tok/s × quality_score，显式权衡速度与质量。质量分数通过困惑度衡量（越低表示生成质量越高），并通过Pareto前沿分析找到给定质量阈值下的最大吞吐量，或目标速度下的最佳质量配置。

AutoInfer的核心是基于贝叶斯优化的参数搜索框架，流程包括：1.硬件画像：自动检测GPU显存、内存、CPU核心数和存储速度建立基线；2.参数空间定义：涵盖GPU层卸载数、批大小、微批大小、CPU线程数、KV缓存量化类型、Flash Attention启用状态等，带硬件约束；3.贝叶斯优化搜索：使用Optuna TPE采样器，50+试验高效探索；4.综合评估：测量速度与困惑度，支持多种后端；5.Pareto分析：生成质量-速度权衡曲线选最佳操作点。

AutoInfer基于Qwen3.5-35B-A3B模型的700+实验（覆盖Q3_K_M、IQ2_M、IQ3_S量化级别），揭示关键交互关系：增加GPU层数通常提升速度，但接近显存上限时性能下降；大批次提升吞吐量但增加延迟；Flash Attention效果因配置而异。贝叶斯优化可自动学习这些非线性关系，无需人工预设规则。

AutoInfer提供直观命令行界面，典型流程：1.硬件画像：autoinfer profile输出硬件摘要，加--json --storage得详细报告；2.优化命令：autoinfer optimize --model models/Qwen3.5-35B-A3B-Q3_K_M.gguf --bench ./target/release/bench --corpus benchmarks/wikitext_sample.txt --trials 50 --target-quality 0.95 --output results.tsv；3.分析命令：autoinfer analyze results_phase9.tsv results_phase10.tsv results_phase11.tsv生成Pareto曲线和配置推荐。

AutoInfer适用于多种场景：个人用户消除手动调参繁琐，让消费级GPU发挥最佳性能；企业部署提供可复制优化流程，减少运维负担；模型开发者通过Pareto曲线洞察部署特性，指导量化策略与架构设计。

AutoInfer代表LLM推理优化从经验驱动向数据驱动转变，通过系统性实验与贝叶斯优化自动找到最佳配置。它引入质量调整吞吐量纠正速度偏见，帮助找到速度与质量平衡点。随着LLM发展，此类工具将成为基础设施关键部分，推动LLM普及应用。