Kiln：支持实时在线学习的单模型LLM推理服务器

Kiln是创新的LLM推理服务器，通过LoRA热插拔技术实现训练与服务并行，让模型在持续服务同时进行实时微调学习，解决传统模型服务中训练部署分离的困境，支持持续学习。

传统LLM应用面临通用模型与微调模型的两难选择：通用模型灵活但特定领域表现差；微调模型精准却需停机重新训练部署，影响业务连续性。生产环境数据持续产生，传统"训练-部署"分离架构无法满足持续学习需求，如何不停机让模型进化是一大挑战。

Kiln提出通过LoRA热插拔技术实现单模型实时在线学习，核心是"Train while you serve"理念，打破训练与服务分离的思维定式，让模型持续服务同时接收新数据微调，完成后热插拔更新能力无需停机。

LoRA是参数高效微调方法，不改变基础模型权重，训练少量低秩矩阵适配任务，具存储高效、切换灵活、组合可能特性。Kiln维护基础模型与多个LoRA适配器，服务中动态加载/卸载LoRA，后台训练新LoRA后热插拔到服务。

Kiln采用单模型架构，资源利用率高，所有请求共享基础模型，通过不同LoRA适配器实现能力定制。适用于多租户SaaS（客户独立LoRA，数据隔离）、A/B测试（小流量验证新LoRA）、渐进式学习（持续微调提升领域表现）场景。

实现实时在线学习需解决三大难题：1.数据流管理：高效收集预处理生产数据，含清洗、去重、质量筛选；2.训练-服务资源平衡：同一服务器推理与训练的资源调度，确保训练不影响推理延迟；3.版本与回滚：LoRA频繁更新的版本管理，支持快速回滚应对模型退化。

Kiln适用于多种场景：客服机器人（每日对话微调，回复更贴合企业风格与客户期望）、代码助手（学习团队编码规范与API模式，精准代码建议）、内容审核（人工反馈优化判断标准，适应政策变化）。

Kiln展示了LLM持续学习的服务模式，模型从静态资产变为持续进化的服务，与DevOps理念类似（自动化缩短反馈改进周期）。随着LLM从实验走向生产，此类基础设施将更重要，代表LLM工程化关键方向：让模型持续变好。