CLLM：用 C 语言编写的裸机大模型推理引擎——无操作系统，零开销

一个基于 C 语言的 Multiboot 兼容 unikernel，直接在裸机上启动，通过移除操作系统层实现极致性能，包含自定义 libc、PCI 驱动、HTTP 服务器和与 llama.cpp 兼容的模型加载接口。

• 原作者/维护者：cognisoc
• 来源平台：github
• 原始标题：cllm
• 原始链接：https://github.com/cognisoc/cllm
• 来源发布时间/更新时间：2026-06-06T21:13:14Z

原作者与来源

• 原作者/维护者：cognisoc
• 来源平台：github
• 原始标题：cllm
• 原始链接：https://github.com/cognisoc/cllm
• 来源发布时间/更新时间：2026-06-06T21:13:14Z 原作者与来源\n\n- 原作者/维护者：cognisoc\n- 来源平台：GitHub\n- 原始标题：cllm\n- 原始链接：https://github.com/cognisoc/cllm\n- 发布时间：2024年（活跃开发中）\n\n---\n\n回归本质：当内核就是应用\n\n在云计算和容器化盛行的今天，我们习惯于在 Linux 上运行 Docker，在 Docker 里运行应用，层层抽象带来了便利，也带来了开销。但 CLLM 项目选择了一条截然不同的道路——移除操作系统层，让内核直接成为应用。\n\n这个用纯 C 语言编写的 unikernel 项目，可以直接在裸机（或 QEMU 虚拟机）上启动，无需 Linux、无需 Windows，只有一个精简的自定义 libc 子集、一个 PCI 总线枚举器、一个 Intel e1000 网卡驱动、一个 HTTP 服务器，以及与 llama.cpp 兼容的大语言模型加载接口。\n\n这种设计的激进之处在于它的简洁性：启动后，系统只做一件事——通过 HTTP REST API 提供 LLM 推理服务。\n\n---\n\n什么是 Unikernel？\n\n从通用到专用\n\n传统操作系统（如 Linux、Windows）是通用的：它们需要支持成千上万的硬件设备、系统调用、用户进程和各种边缘情况。这种通用性带来了灵活性，但也带来了开销——内存占用、启动时间、上下文切换、系统调用开销等。\n\nUnikernel 采取了相反的思路：\n\n- 单一用途：每个 unikernel 只运行一个应用\n- 静态链接：所有需要的库都编译进内核镜像\n- 无用户态/内核态切换：应用直接运行在最高特权级\n- 最小化攻击面：只包含必要的代码，没有 shell、没有 SSH、没有多余的系统服务\n\nCLLM 的独特之处\n\n大多数 unikernel 项目使用高级语言（如 OCaml 的 MirageOS、Rust 的 Rumprun），CLLM 选择用 C 语言从头实现，这意味着：\n\n- 极致的底层控制：每一行代码都清晰可见\n- 最小的依赖：不依赖复杂的运行时或垃圾回收器\n- 直接硬件访问：通过 PCI 枚举直接与硬件交互\n- 可预测的性能：没有操作系统的调度干扰\n\n---\n\n技术架构：从零开始的系统\n\n启动流程\n\nCLLM 使用 Multiboot 规范（GRUB 等引导加载器支持），启动流程简洁明了：\n\n1. boot.S：Multiboot 入口，设置栈，初始化串口\n2. kernel.c：内核主函数，初始化 VGA 终端和串口 I/O\n3. memory.c：堆分配器（malloc/free 实现）\n4. string.c：libc 子集（snprintf、memcpy 等）\n5. network.c：PCI 枚举和 Intel e1000 网卡驱动\n6. http.c / api.c：HTTP 服务器和请求路由\n7. api_v1.c：与 llama.cpp 兼容的 REST API\n8. llm.c：模型加载和推理接口\n\n核心组件详解\n\n自定义 libc 子集\n\nCLLM 没有使用 glibc 或 musl，而是实现了自己精简的 C 标准库：\n- 内存管理：malloc、free、realloc\n- 字符串操作：memcpy、memset、strlen、strcpy\n- 格式化输出：snprintf（支持基本格式说明符）\n\n这种自给自足的设计意味着 CLLM 不依赖任何外部库，整个系统就是一个独立的二进制文件。\n\nPCI 总线枚举与 e1000 驱动\n\n网络功能是 CLLM 的关键，项目实现了：\n- PCI 配置空间遍历，发现网络设备\n- Intel e1000 网卡驱动（教育网卡和许多虚拟化环境常用）\n- 基本的以太网帧收发\n- TCP/IP 协议栈（或至少是足够的部分来支持 HTTP）\n\nHTTP 服务器\n\nCLLM 内置了一个极简的 HTTP 服务器：\n- 支持基本的 HTTP/1.1 请求解析\n- RESTful API 端点路由\n- JSON 请求/响应处理\n- 与 llama.cpp 兼容的 API 格式（/v1/completions 等）\n\n---\n\n构建与运行\n\n环境要求\n\nCLLM 的构建过程出人意料地简单：\n\nbash\nUbuntu/Debian\nsudo apt-get install gcc gcc-multilib make qemu-system-x86\n\n克隆并运行\ngit clone git@github.com:cognisoc/cllm.git\ncd cllm\nmake run\n\n\n构建目标\n\n| 目标 | 描述 |\n|------|------|\n| make | 构建发布版内核（build/kernel.bin） |\n| make debug | 带调试符号构建 |\n| make run | 在 QEMU 中构建并启动（串口输出到终端） |\n| make run-vga | 在 QEMU 中启动（带 VGA 窗口） |\n| make run-debug | 启动并暂停等待 GDB 连接（端口 1234） |\n| make clean | 清理构建产物 |\n\n运行体验\n\n执行 make run 后，QEMU 启动，串口输出直接显示在终端上。你可以看到内核初始化过程：Multiboot 信息解析、内存布局检测、PCI 设备枚举、网卡初始化，最后是 HTTP 服务器开始监听请求。\n\n按 Ctrl-A 然后 X 可以退出 QEMU。\n\n---\n\n当前状态与路线图\n\n已实现功能\n\n- ✅ Multiboot 兼容内核，支持 VGA 和串口输出\n- ✅ 自定义 libc（malloc、snprintf、字符串操作）\n- ✅ PCI 枚举和 e1000 网卡驱动\n- ✅ HTTP 服务器和 REST API 端点\n- ✅ 与 llama.cpp 兼容的 API（v1 端点）\n\n开发中功能\n\n- 🔄 集成 llama.cpp 推理引擎\n- 🔄 GPU 直通（CUDA 后端）\n- 🔄 流式 token 生成\n- 🔄 针对 transformer 推理的 vLLM 优化\n\n技术挑战\n\n将完整的 LLM 推理引擎集成到 unikernel 中面临几个挑战：\n\n1. 内存管理：大模型需要大量内存，需要高效的分配策略\n2. 计算优化：需要利用 SIMD 指令（AVX、AVX-512）加速推理\n3. GPU 支持：CUDA 或 ROCm 的驱动集成\n4. 模型加载：从磁盘或网络加载 GB 级模型权重\n\n---\n\n为什么这很重要？\n\n性能视角\n\nCLLM 的极端精简设计可能带来显著的性能优势：\n- 启动时间：从开机到服务就绪可能只需毫秒级\n- 内存占用：没有操作系统的冗余开销\n- 确定性延迟：没有调度器干扰，推理延迟更可预测\n- 缓存友好：代码和数据都高度紧凑\n\n安全视角\n\nUnikernel 的安全优势在于"最小攻击面"：\n- 没有 shell 可以入侵\n- 没有 SSH 守护进程\n- 没有不必要的系统调用\n- 代码量小，更容易审计\n\n教育价值\n\n即使不考虑生产部署，CLLM 也是一个极佳的学习资源：\n- 展示了操作系统底层原理的实际实现\n- 演示了如何从裸机开始构建网络服务\n- 提供了 unikernel 架构的具体案例\n\n---\n\n结语：极简主义的回归\n\n在软件工程越来越复杂的今天，CLLM 代表了一种回归本质的尝试。它提醒我们，有时候最强大的解决方案也是最简单的——移除不必要的层次，专注于核心问题。\n\n当这个内核成功加载第一个大语言模型并开始响应 HTTP 请求时，它不仅仅是一个技术演示，更是一个关于软件设计哲学的宣言：在性能、安全性和可维护性之间，极简主义可能是最被低估的选择。\n\nCLLM 项目目前处于活跃开发阶段，对于想要深入理解操作系统底层、网络协议栈或 unikernel 架构的开发者来说，这是一个不可多得的学习资源。