InferX：Go 与 C++ 构建的高性能异步推理引擎

InferX 是一个用 Go 和 C++ 构建的高性能 AI 推理系统，采用异步请求处理架构，Go 层负责 API 和请求管理，C++ 核心负责优化的批处理，支持动态批处理和完整的基准测试套件。

在大模型应用落地的过程中，推理服务的性能往往成为瓶颈。如何在高并发场景下保持低延迟？如何充分利用硬件资源进行批处理？如何优雅地处理异步请求？这些都是工程团队必须面对的实际问题。

InferX 是一个专注于解决这些问题的开源项目。它采用 Go 和 C++ 的混合架构，旨在提供一个健壮、可扩展的推理服务器。

InferX 的架构设计体现了对性能与开发效率的深思熟虑：

• Go 层：负责 API 接口和请求处理，利用 Go 的并发模型和丰富的网络库
• C++ 核心：负责高性能的批处理计算，发挥 C++ 的执行效率优势

这种分层设计让每一层都能使用最适合的工具，而不是被迫在开发效率和运行时性能之间做妥协。

InferX 采用完全异步的架构。请求到达后不会阻塞等待，而是进入队列，由后台工作线程池处理。这种设计对于高并发场景至关重要。

项目支持动态批处理（dynamic batching），可以将多个请求合并处理，提高 GPU/CPU 利用率。这是提升推理吞吐量的关键技术。

InferX 包含正式的基准测试工具，可以：

• 模拟并发负载
• 测量吞吐量和延迟
• 分析系统瓶颈

api/          # Go 服务器和负载测试套件
  pkg/config/ # 配置管理（环境变量和 .env 支持）
  pkg/models/ # 共享模型和 JSON 类型
  cmd/        # 命令入口
engine/       # C++ 高性能推理核心
lib/          # 编译后的静态库（仅容器内）
Dockerfile    # 多阶段构建

这种结构清晰分离了不同语言的代码，便于维护和扩展。

InferX 采用 Docker 多阶段构建来解决跨平台兼容性问题。特别是针对 macOS SDK 版本不匹配的问题，容器化提供了一个干净的解决方案。

启动服务：

make docker-run

发送请求：

curl -X POST http://localhost:8080/infer \
  -H "Content-Type: application/json" \
  -d '{"model": "llama-3", "prompt": "Hello InferX!"}'