Kiln：支持实时在线学习的LLM推理服务器

Kiln是一个创新的开源项目，重新定义LLM部署服务方式，打破传统训练与推理分离的范式，通过LoRA热交换技术实现"边服务边训练"的实时在线学习模式。项目由ericflo维护，开源在GitHub，采用MIT许可证。

传统LLM推理服务器将训练和推理视为独立阶段：先离线训练模型，再部署为推理服务。这种模式无法在服务过程中持续学习，难以快速适应新需求或个性化场景。

Kiln的核心创新是LoRA热交换技术。LoRA通过添加低秩矩阵微调预训练模型，具有参数效率高（仅0.1%-1%原始参数）、存储友好、快速切换的优势。Kiln将其与推理服务器集成，实现不停机动态加载/切换LoRA适配器，支持边服务边学习、实时部署新版本、多租户场景。

Kiln采用C++编写保证高性能，架构遵循三大原则：1.单模型服务：简化资源管理，降低内存占用；2.实时学习流水线：收集用户数据、后台梯度更新、热交换LoRA权重；3.零停机更新：不中断服务即可更新模型参数，适合生产环境。

Kiln适合以下场景：1.个性化服务：客服、教育等领域快速适应特定用户/企业需求；2.持续学习系统：推荐、内容审核等需从生产数据持续学习的应用；3.A/B测试与快速迭代：产品团队快速部署适配器版本，迭代优化。

Kiln代表LLM服务架构演进方向，将参数高效微调（PEFT）带入生产环境，使持续学习从概念变为现实。项目采用MIT许可证，虽处于早期（仅1个star），但创新架构潜力巨大，值得开发者和企业关注。

Kiln通过LoRA热交换与高性能推理服务器结合，开创LLM实时在线学习服务模式，为自适应AI系统奠定基础。期待项目成熟及社区参与，催生更多创新应用。