gptoss.java：纯 Java 实现的高性能 GPT-OSS 推理引擎

一个零依赖、单文件的纯 Java 推理引擎，支持 OpenAI 的 GPT-OSS 模型（包括 MoE 变体），利用 Java Vector API 实现高效的矩阵运算，并提供 GraalVM Native Image 支持。

gptoss.java 是一个令人印象深刻的技术项目，它用纯 Java 实现了 OpenAI GPT-OSS 模型的高性能推理引擎。整个项目仅包含一个 Java 文件，零外部依赖，却完整支持从 20B 到 120B 参数的 GPT-OSS 模型，包括混合专家（MoE）架构变体。

这个项目展示了 Java 在现代 AI 推理场景中的潜力，打破了"Python 垄断大模型推理"的刻板印象。通过充分利用 Java 21+ 的新特性，特别是 Vector API 和 MemorySegment，项目实现了与基于 C++ 的推理框架相媲美的性能。

项目的最大特色是其极简的架构设计。整个推理引擎包含在一个 Java 文件中，不依赖任何外部库。这种设计带来了几个显著优势：

部署便捷：无需处理复杂的依赖管理，单个文件即可运行。对于需要精简部署包的场景（如边缘计算、嵌入式系统），这是巨大的优势。

可审计性：代码完全可见，没有隐藏依赖，便于安全审计和合规检查。

可移植性：只要有 Java 21+ 运行时环境，即可在任何平台运行，不受特定机器学习框架的限制。

项目实现了高效的 GGUF 格式解析器，支持多种量化和数据类型：

• 浮点类型：F16（半精度浮点）、BF16（Brain 浮点）、F32（单精度浮点）
• 量化类型：Q4_0、Q4_1、Q4_K、Q5_K、Q6_K、Q8_0（4 到 8 位量化）
• 新型格式：MXFP4（Microscaling FP4，4 位浮点）

这种广泛的格式支持意味着用户可以直接使用社区预量化的模型，无需自行转换，大大降低了使用门槛。

项目充分利用了 Java 的 Vector API（JEP 469），实现了高效的矩阵-向量运算内核。Vector API 允许 Java 代码直接利用 CPU 的 SIMD（单指令多数据）指令集，在现代处理器上实现接近硬件极限的计算性能。

相比传统的标量运算，SIMD 加速可以带来数倍甚至数量级的性能提升，特别是在大模型推理这种计算密集型任务中。这是 gptoss.java 能够在纯 Java 实现中达到高性能的关键所在。

项目完整支持 GraalVM Native Image 编译，可以将 Java 代码编译为原生可执行文件。这带来了两个重要收益：

启动速度：原生镜像消除了 JVM 的冷启动开销，实现毫秒级启动，对于需要快速响应的交互式应用至关重要。

内存占用：原生镜像的内存占用显著低于传统 JVM 应用，使得在资源受限的环境中运行大模型成为可能。

项目支持在编译时将模型数据预加载到可执行文件中。通过设置 PRELOAD_GGUF 环境变量并重新编译，可以生成一个包含特定模型的专用二进制文件。

这种 AOT（Ahead-of-Time）预加载消除了运行时的模型解析开销，显著降低首次 Token 生成时间（Time-to-First-Token），对于交互式聊天应用的用户体验提升明显。

项目提供了多种使用方式，适应不同的场景需求：