Infer-App：原生macOS本地大模型聊天应用，集成语音、RAG与Agent运行时

Infer-App是专为macOS设计的原生本地大模型聊天应用，整合llama.cpp和MLX双推理引擎，支持设备端语音识别、RAG检索增强及基于MCP协议的Agent运行时。核心优势包括完全离线运行保障隐私、原生macOS体验、灵活的技术架构，为用户提供一站式本地AI助手解决方案。

Infer-App定位为macOS原生应用，旨在结合LLM本地运行能力与现代化交互体验。界面采用SwiftUI构建，遵循macOS设计规范，支持深色/浅色模式、多窗口布局、系统快捷键等原生特性；深度集成macOS生态，可与Spotlight、Shortcuts联动，支持拖拽导入文件，提供无缝的系统级体验。

Infer-App采用双引擎推理方案：llama.cpp引擎提供广泛模型兼容性与高效量化推理，支持Llama、Mistral等开源模型；MLX引擎针对Apple Silicon优化，利用M系列芯片的统一内存与Neural Engine提升性能。此外，内置设备端语音识别（本地完成，保障隐私）、RAG系统（支持本地文档导入与语义检索）、基于MCP协议的Agent运行时（可调用本地操作与外部工具）。

隐私方面，所有推理、语音识别、文档处理均离线完成，数据本地存储，支持用户自行导入模型，代码完全开源可审计。性能上针对Apple Silicon优化：利用统一内存减少拷贝、Metal加速计算、智能调度CPU/GPU资源，低功耗模式延长续航，确保消费级Mac流畅运行。

Infer-App适合多类用户：隐私优先群体（律师、医生等处理敏感信息者）、离线工作者（无网络环境仍可用）、开发者与技术爱好者（深入理解LLM架构）、macOS深度用户（追求原生体验）。

技术实现亮点包括跨语言绑定（Swift/C++/Python交互）、智能资源管理（动态模型加载、内存压力感知）、模块化架构（功能插件可定制）。项目为本地LLM应用提供参考，其架构设计、系统优化经验对开发者有借鉴价值，推动本地AI助手生态发展。

Infer-App整合多种先进技术，在保障隐私前提下提供接近云端服务的功能丰富度。作为技术栈丰富、设计理念先进的开源项目，它证明消费级设备可运行完整AI助手，为重视数据主权与原生体验的macOS用户提供优质选择。