Muduo 无锁工作窃取引擎：为 LLM 推理优化的硬件感知并发任务调度

本项目是专为Muduo网络库设计的硬件感知并发任务引擎，通过无锁工作窃取和缓存行对齐等技术，针对LLM推理等非对称负载优化性能，解决传统线程池在异构请求下的性能瓶颈。

Muduo网络库

Muduo是基于Reactor模式的C++网络库，采用one loop per thread模型，每个线程维护自己的事件循环。

工作窃取调度

核心窃取是动态负载均衡技术，， 核心每个ine 每个线程维护自己的任务队列，空闲线程从其他队列窃取任务，减少同步开销。

无锁编程难

实现无锁数据结构需解决内存序问题、ABA问题 缓存一致性问题。

1. 无锁工作窃取队列

线程本地操作无需同步，窃取操作原子保证安全，缓存行对齐减少伪共享。

� hardware感知优化

• 缓存行填充：确保队列头尾指针、元数据与任务数据分离，关键计数器按缓存行对齐。
• NUMA感知：优先本地节点分配内存，窃取策略考虑拓扑减少跨节点访问。

一个面向 Muduo 服务器的硬件感知并发任务引擎，通过无锁工作窃取和缓存行对齐技术，专为非对称负载（如 LLM 推理）优化性能。