章节 01
Apple M4本地大模型推理深度实测：MLX + DDTree投机解码对比Ollama性能解析
本次评测针对Apple M4芯片的本地大语言模型推理性能展开，对比MLX框架与Ollama的性能差异，分析DDTree投机解码技术的加速效果。核心发现包括MLX框架显著优于Ollama，MoE架构在Apple Silicon上表现出巨大性能优势，DDTree技术进一步提升推理速度。
正文
Apple M4 本地大模型推理深度实测：MLX + DDTree 投机解码对比 Ollama 性能解析
基于 Apple M4 芯片的本地大语言模型推理性能全面评测，深入对比 MLX 框架与 Ollama 的性能差异，并分析 DDTree 投机解码技术的实际加速效果。
MLXApple Silicon本地推理投机解码OllamaQwenMoE大语言模型端侧 AI性能评测
章节 02
背景：端侧AI推理的崛起
随着大语言模型技术发展，本地设备高效运行模型成为关注焦点。Apple Silicon凭借统一内存架构和神经网络引擎成为端侧AI推理理想平台，但选择合适框架与优化策略对性能至关重要。
章节 03
测试环境与方法
测试基于MacBook Air M4（10核心：4性能核+6能效核，32GB统一内存），操作系统macOS 15.7 Sequoia。任务为生成最多200 token的红黑树Python实现代码。测量方法：2次预热+5次正式计时取中位数，指标为纯生成速度（tok/s）不含预填充时间。
章节 04
核心发现：MLX的显著优势
Qwen3.6-35B-MoE模型模型对比
- DDTree (MLX)：28.7 tok/s，比Ollama提升2.33倍
- Plain MLX：26.9 tok/s，比Oll提升2.19倍
- Ollama (GGUF-Q4_K_P)：12..3 tok/s（基准）
继续阅读
继续阅读同一主题下的更多内容。
01
02
03
04
Splinter：一款无锁零拷贝的共享内存 KV 与向量存储库，让 LLM 推理告别 socket 与 memcpy 开销
Splinter 是一款极简主义的高性能键值与向量存储系统，通过共享内存和原子操作实现进程间零延迟通信，核心代码仅 766 行，却能支持每秒数百万次操作和 768 维向量存储，为本地 LLM 推理和数据密集型应用提供了全新的架构思路。
Folkering OS：当操作系统本身就是 AI——一个能自我进化的裸机 Rust 系统
Folkering OS 是全球首个 AI 原生裸机操作系统，完全用 Rust no_std 编写，无需 Linux、POSIX 或 libc。它能在 10 秒内从零生成命令、编译为 WASM 并运行，实现真正的自我进化。
LLM-assisted-analysis：用大模型检测智能合约逻辑漏洞的新思路
该项目探索如何利用大语言模型（LLM）检测以太坊智能合约中的逻辑漏洞，特别是传统静态分析工具难以捕捉的业务逻辑缺陷，如经济操纵、执行顺序错误等。
从零构建现代LLM：一个教学级的Llama风格语言模型实现
本文介绍了一个从零开始构建现代大语言模型的开源项目，该项目从GPT-2风格的基础架构逐步演进至Llama 2/3风格的生产级实现，涵盖了RMSNorm、RoPE、SwiGLU、GQA和MoE等关键技术的完整教学实现。