SmolLM2：纯Dart实现的本地大语言模型推理引擎

一个完全基于Dart语言实现的轻量级LLM推理引擎，支持在本地运行SmolLM2系列模型，无需Python环境、CUDA或外部依赖。

smollm2的诞生源于对轻量级、可移植AI推理解决方案的追求。传统的LLM部署方案往往受限于平台兼容性和依赖复杂性，而smollm2采用纯Dart实现，这意味着它可以在任何支持Dart虚拟机的平台上运行，包括Windows、macOS、Linux，甚至是移动设备和嵌入式系统。

该项目的核心设计理念是**"零依赖"**：不需要Python运行时、不需要llama.cpp、不需要CUDA，甚至不需要任何外部原生绑定。这种设计极大地降低了部署门槛，使得开发者可以在资源受限的环境中也能运行语言模型。

smollm2实现了一套完整的Transformer推理引擎，包含了现代LLM所需的关键组件：

项目从零开始实现了完整的Transformer架构，包括多头注意力机制、前馈网络、层归一化等核心组件。所有计算都在Dart虚拟机中完成，不依赖任何外部加速库。

尽管是纯Dart实现，smollm2充分利用了Dart的SIMD（单指令多数据）支持来加速矩阵运算。通过精心优化的数学内核，项目在保证代码可移植性的同时，也实现了可观的推理性能。

smollm2内置了对Q8（8位）和Q16（16位）量化格式的支持。量化技术可以显著减少模型体积和内存占用，同时保持合理的输出质量。Q8格式适合资源受限的场景，而Q16格式则提供更好的数值精度。

为了优化自回归生成的效率，smollm2实现了KV（键值）缓存机制。这种机制避免了在生成每个token时重复计算之前的注意力状态，大幅提升了长文本生成的速度。

项目实现了旋转位置编码（Rotary Position Embedding，RoPE），这是现代LLM中广泛采用的位置编码方案。RoPE能够更好地处理长序列，并支持相对位置信息的建模。