CLLM：用C语言编写的裸机Unikernel，让大模型推理摆脱操作系统束缚

CLLM是由cognisoc维护的GitHub项目（发布于2026年6月6日），是用纯C语言编写的裸机Unikernel，直接在硬件上启动无需传统操作系统，专为LLM推理服务设计。其核心思路是通过摒弃操作系统层，追求极致的推理性能与资源效率。

LLM推理优化多聚焦模型架构、量化或分布式部署，而CLLM从系统层切入质疑操作系统必要性。Unikernel是将应用与OS内核编译为单一镜像的技术，仅含必要组件，对LLM推理的优势包括：启动速度从秒级降至毫秒级、资源占用极低、攻击面最小化、无用户态/内核态切换开销。

引导与初始化层

采用Multiboot规范，通过boot.S设置栈和串口，kernel.c初始化VGA终端与串口I/O，memory.c实现堆分配器。

网络协议栈

支持PCI总线枚举、Intel e1000网卡驱动及内置HTTP服务器与REST API。

推理接口层

设计与llama.cpp兼容的API接口，可复用GGUF模型格式，客户端代码无缝迁移。

已完成功能：Multiboot兼容内核、自定义libc实现、PCI枚举与e1000驱动、HTTP服务器、llama.cpp兼容API v1。 未来路线图：集成llama.cpp推理引擎、GPU直通支持、流式token生成、vLLM优化技术集成。

• 边缘计算：适合资源受限设备（如工业物联网、车载系统），内存占用压缩至几十MB。
• 高并发推理：毫秒级冷启动支持Serverless场景的"每个请求一个内核"隔离模型。
• 安全关键场景：代码库规模小，易形式化验证，攻击面最小化。

1. 硬件兼容性：需专门驱动支持，无法像Linux开箱即用；
2. 调试困难：依赖串口输出与GDB远程调试；
3. 生态隔离：无法直接使用现有软件包；
4. 开发门槛：需深入理解操作系统底层原理。

CLLM代表激进优化思路：移除操作系统层而非在其上优化。虽不适合所有场景，但为追求极致性能的专用系统提供新方向。随着LLM规模增长，推理成本优化愈发重要，CLLM展示了系统级优化的潜力——应用与内核合一或突破性能天花板。