QRAF：专为 Apple Silicon 打造的高性能本地 LLM 推理运行时

QRAF是用C++编写的本地大语言模型推理运行时，针对Apple Silicon深度优化，支持HuggingFace、GGUF、Safetensors格式转换，提供轻量级、高性能的本地推理方案，兼顾效率与隐私保护。

M系列芯片普及使Apple Silicon成为本地AI推理理想平台，但现有框架臃肿或未充分利用硬件特性。QRAF目标是轻量级、高性能、易部署，选择C++保证效率并预留跨平台扩展空间，相比Python方案降低内存占用和启动延迟。

QRAF采用专有模型格式，针对推理优化，支持高效内存映射和按需加载，相比HuggingFace PyTorch/GGUF格式，加载速度和内存效率显著提升。

利用Metal Performance Shaders（MPS）和Accelerate框架，发挥M系列GPU和神经引擎性能；统一内存架构支持避免CPU-GPU数据拷贝开销。

支持主流格式导入：

• HuggingFace Transformers：直接加载PyTorch/Safetensors权重
• GGUF：兼容llama.cpp生态量化模型
• Safetensors：规避pickle安全风险 用户可无缝迁移现有模型资产。

在M1/M2/M3芯片上接近硬件极限的推理性能，低延迟适合交互式应用；本地推理确保数据在设备处理，保护隐私和数据主权。

适用场景：

1. 个人知识管理（私有知识库问答）
2. 开发辅助（IDE代码建议）
3. macOS应用AI能力部署
4. 模型实验（验证推理效果） 建议：从7B模型开始，探索量化平衡，参考仓库文档上手。

QRAF丰富本地LLM生态，差异化在于Apple Silicon原生优化和简洁架构；未来或扩展硬件平台与模型架构；开源性质促进社区参与，推动本地AI进步。