Kepler：macOS上的LLM推理、评测一站式工具

Kepler是专为macOS设计的开源工具，集成模型推理、性能基准测试和模型评估三大功能，解决Apple Silicon设备上LLM工具分散、优化不足、体验不统一等痛点，为开发者提供本地、隐私友好的LLM工作流。

在macOS上运行LLM，开发者面临工具分散（推理、评测、基准测试需多套工具）、Apple Silicon优化不足（主流框架少Metal/Neural Engine支持）、用户体验不统一（命令行参数各异）、本地隐私需求（数据不愿上云）等挑战。Kepler以"一站式"理念填补空白。

Kepler提供三大模块：

1. 模型推理：支持Llama、Mistral、Qwen等GGUF格式模型，针对Apple Silicon优化；
2. 性能基准测试：吞吐量、延迟、内存占用、CPU/GPU利用率量化分析；
3. 模型评估：推理能力、代码生成、多语言支持及自定义评估集。

Kepler底层采用llama.cpp（C/C++编写，利用Metal优化Apple GPU）；核心交互为CLI（遵循Unix哲学，易脚本化）；内置模型管理功能，支持从Hugging Face下载GGUF量化模型。

适用场景：模型选型比较、本地原型开发、硬件性能评估、教育研究。 与其他工具对比：

• 与Ollama：Kepler更侧重评测与基准测试；
• 与LM Studio：Kepler以CLI为主，适合技术用户；
• 与原生llama.cpp：Kepler封装复杂性，提供友好体验。

安装方式：Homebrew或源码编译；使用步骤：下载GGUF模型→运行推理→执行评测（详见README）。Kepler为MIT许可证开源项目，代码托管于GitHub（thisisadityapatel/kepler），欢迎社区贡献。

当前局限：仅支持GGUF格式、无分布式推理、缺少投机解码等优化。未来计划：增加模型格式支持、改进评测套件、探索图形界面。

Kepler整合推理、评测、基准测试，解决macOS上LLM工具痛点，为Apple生态AI开发者提供高效本地解决方案。随着Apple Silicon在AI领域普及，此类工具将更重要。