inference_engine_rust：Rust实现的GGUF格式LLM推理引擎

inference_engine_rust是一个用Rust从零实现的GGUF格式大语言模型推理引擎，兼具教育性与实用性。它支持模型加载、tokenizer处理、嵌入计算、生成能力，提供性能基准测试并与llama.cpp对比验证，既是可实际使用的推理工具，也是理解LLM推理机制的学习资源。

项目定位为"教学式实现"，核心组件均由Rust原生编写，而非调用成熟库。基于Rust 2024 Edition构建，要求rustc 1.85+。支持GGUF格式，可直接加载量化模型（如Q4_K_M），适用于资源受限环境。

包含四大核心模块：

1. 模型加载与解析：完整GGUF文件解析器，处理键值对元数据和分块张量存储；
2. Tokenizer支持：兼容SentencePiece（Mistral等）和Hugging Face Tokenizers（Gemma等）；
3. 嵌入计算与推理：实现完整前向传播路径，含注意力、层归一化等，且与llama.cpp对比logits和隐藏状态确保正确性；
4. 贪婪生成：支持基础贪婪解码，为复杂采样策略奠定基础。

内置bench_compare工具，测量冷/热启动TTFT、解码吞吐量，并可与llama.cpp直接对比。验证策略包括：嵌入层验证、logits对比、隐藏状态验证、生成烟雾测试，确保实现正确性。

当前处于早期阶段，M1 MacBook上6token提示的TTFT约64秒，比llama.cpp慢40倍。优化方向包括：内存布局优化、计算内核优化（SIMD/矩阵加速）、Metal GPU支持、量化算子优化。

采用MIT OR Apache-2.0双许可证，符合Rust生态惯例。教育价值体现在：代码规模可控、纯Rust实现、模块化设计、完整测试套件，便于开发者深入理解LLM推理系统。

inference_engine_rust通过从零实现深化对LLM推理的理解，为社区提供独特学习资源。虽当前性能不及成熟方案，但持续优化后有望兼具教育价值与实用能力，是对Rust生态和LLM推理领域的有益补充。