LoRAX：单卡服务数千微调模型的多 LoRA 推理服务器

LoRAX 是一个开源的多 LoRA 推理框架，允许用户在单张 GPU 上同时服务数千个经过微调的模型，通过动态适配器加载和异构连续批处理技术，在大幅降低服务成本的同时保持高吞吐量和低延迟。

随着大语言模型技术的普及，越来越多的组织开始基于开源基础模型进行领域特定的微调，以构建符合自身业务需求的 AI 应用。然而，当微调模型的数量从几个增长到几十、几百甚至上千时，传统的部署方式面临着严峻的成本挑战。

每个微调模型通常都需要独立的推理实例，这意味着需要为每个模型分配 GPU 资源。即使采用量化技术减少显存占用，同时服务数百个模型仍然需要数十张甚至上百张 GPU 卡，这对于大多数组织来说都是难以承受的成本负担。

LoRA（Low-Rank Adaptation）技术的出现为解决这一困境提供了可能。通过在保持基础模型权重不变的情况下仅训练少量低秩适配器参数，LoRA 使得微调模型的存储和切换成本大幅降低。然而，如何在一个统一的推理服务中高效管理数千个 LoRA 适配器，仍然是一个复杂的工程挑战。

LoRAX（LoRA eXchange）是由 Predibase 开发的开源推理框架，专门设计用于解决大规模 LoRA 微调模型的服务问题。其核心理念是将基础模型和适配器权重分离：所有微调模型共享同一个基础大模型，而每个请求可以动态加载特定的 LoRA 适配器。

这种架构的关键优势在于显存效率。由于基础模型只需要加载一次，而 LoRA 适配器的参数量通常只有基础模型的 1% 到 5%，因此单张 GPU 可以同时容纳数千个适配器的权重。当收到推理请求时，系统只需加载对应的适配器参数，而无需重新加载整个模型。

LoRAX 最具创新性的特性之一是其动态适配器加载机制。系统可以从 Hugging Face Hub、Predibase 平台或本地文件系统按需加载 LoRA 适配器，加载过程不会阻塞其他正在进行的推理请求。这意味着即使在服务数千个不同适配器的情况下，系统仍然能够保持稳定的响应时间。

更进一步，LoRAX 实现了异构连续批处理（Heterogeneous Continuous Batching）。传统的批处理系统通常要求同一批次内的所有请求使用相同的模型，而 LoRAX 打破了这一限制，能够将针对不同适配器的请求打包到同一个批次中进行并行处理。这一创新使得系统的吞吐量和延迟几乎不受并发适配器数量的影响。

适配器交换调度器（Adapter Exchange Scheduler）则负责在 GPU 和 CPU 内存之间异步预取和卸载适配器，并优化请求批处理策略以最大化系统整体吞吐量。这种智能调度机制确保了热门适配器始终驻留在 GPU 显存中，而冷门的适配器则被优雅地交换到系统内存。

LoRAX 不仅仅是一个研究原型，而是一个生产就绪的推理平台。项目提供了预构建的 Docker 镜像、Kubernetes Helm Chart、Prometheus 监控指标和 OpenTelemetry 分布式追踪支持，使得在企业环境中部署和运维变得简单可靠。

API 兼容性方面，LoRAX 提供了与 OpenAI API 兼容的接口，支持多轮对话、token 流式输出和结构化输出（JSON Mode）。这种兼容性意味着现有的应用可以几乎零改动地迁移到 LoRAX 平台。此外，系统还支持通过请求级别的租户隔离来保护私有适配器，满足多租户场景下的数据安全需求。

在推理优化层面，LoRAX 集成了多项先进技术，包括张量并行、预编译 CUDA 内核（FlashAttention、PagedAttention、SGMV）、多种量化方案（bitsandbytes、GPT-Q、AWQ）以及 token 流式输出。这些优化确保了在各种硬件配置下都能获得最佳的推理性能。

LoRAX 支持多种主流大语言模型作为基础模型，包括 Llama 系列（含 CodeLlama）、Mistral 系列（含 Zephyr）、Qwen 等。基础模型可以以 fp16 精度加载，也可以使用各种量化方案以减少显存占用。

适配器方面，LoRAX 兼容使用 PEFT 和 Ludwig 库训练的 LoRA 适配器，支持对模型中任意线性层进行适配。这种灵活性意味着绝大多数现有的 LoRA 微调模型都可以直接部署到 LoRAX 平台上，无需进行任何转换或修改。

使用 LoRAX 非常简单。通过 Docker 可以在几分钟内启动一个推理服务：

model=mistralai/Mistral-7B-Instruct-v0.1
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
  ghcr.io/predibase/lorax:main --model-id $model

推理时只需在请求中指定适配器 ID：

curl 127.0.0.1:8080/generate \
  -X POST \
  -d '{
    "inputs": "[INST] 问题内容 [/INST]",
    "parameters": {
      "max_new_tokens": 64,
      "adapter_id": "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
    }
  }' \
  -H 'Content-Type: application/json'

Python 客户端的使用同样直观：

from lorax import Client

client = Client("http://127.0.0.1:8080")

# 使用特定适配器进行推理
adapter_id = "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
print(client.generate(prompt, max_new_tokens=64, adapter_id=adapter_id).generated_text)

LoRAX 的技术特性使其在多个应用场景中展现出巨大价值。对于 SaaS 平台而言，LoRAX 使得为每个客户部署独立的微调模型成为可能，而无需为每个客户单独配置 GPU 资源。对于企业内部，不同部门可以拥有针对各自领域优化的模型版本，同时共享同一套推理基础设施。

在 A/B 测试和模型迭代场景中，LoRAX 的适配器合并功能允许在单个请求中组合多个适配器，快速实验不同的微调策略组合。这种灵活性大大加速了模型优化和迭代的周期。

开源友好的 Apache 2.0 许可证意味着企业可以在商业环境中自由使用和修改 LoRAX，无需担心法律风险。这也是 Predibase 推动 LLM 基础设施民主化的重要举措之一。