iki-nano：在 iPhone 上本地运行大语言模型的优雅方案

iki-nano是一款开源iOS应用，支持在iPhone上本地下载并运行量化后的语言模型，实现完全离线的AI对话体验。项目采用SwiftUI和MVVM架构，集成MediaPipe Tasks GenAI与LiteRT-LM框架，为移动设备本地LLM推理提供完整参考实现。其设计理念强调隐私保护（数据本地留存）、无网络依赖（离线可用）及即时响应（消除网络延迟）。

当前主流LLM应用多依赖云端API，存在隐私风险与网络依赖问题。iki-nano旨在通过MediaPipe Tasks GenAI和Google LiteRT-LM框架，实现iOS设备完全本地的模型推理。本地优先设计的意义包括：用户数据始终留存设备、无网络环境下正常工作、消除网络延迟实现即时响应。

iki-nano采用Swift开发，SwiftUI构建UI，遵循MVVM架构，支持iOS17.0及以上版本，依赖管理使用CocoaPods。机器学习框架支持双引擎：MediaPipe Tasks GenAI（跨平台ML方案）和LiteRT-LM（轻量级运行时框架）。核心功能包括远程模型下载、本地存储管理、模型配置及SwiftUI交互式聊天界面，可加载Hugging Face等平台兼容模型。

应用要求MediaPipe GenAI兼容的.bin格式模型，推荐2B参数规模且经过int4量化的模型（体积1-2GB，适配iPhone存储与内存）。量化技术通过降低权重精度减小体积，同时尽量保持推理质量。Gemma 2B模型已验证可正常工作，该模型是Google推出的轻量级开源系列，适合移动部署。

项目代码组织清晰，核心组件包括：

• ModelFileService：负责模型下载与验证
• LLMInferenceEngine：推理引擎抽象协议
• MediaPipeInferenceEngine：MediaPipe框架具体实现
• LiteRTLMInferenceEngine：LiteRT-LM框架具体实现
• LiteRTLM/：C++桥接层与运行器，处理Swift与C++互操作 分层架构支持轻松切换或扩展推理后端。

使用步骤：

1. 克隆仓库并安装CocoaPods依赖
2. 复制配置模板文件并填入模型URL（支持Hugging Face等平台直接下载链接）
3. 应用自动处理模型下载、存储与加载
4. 通过SwiftUI界面进行本地交互式对话（无需网络）

隐私保护：所有推理本地完成，对话内容不离开设备，模型存储于应用沙盒目录受iOS安全机制保护，适合隐私敏感场景。教育价值：为iOS开发者提供完整参考实现，帮助了解移动AI推理、MediaPipe集成及Swift/C++互操作。社区贡献：MIT许可证开源，欢迎提交Issue或Pull Request改进。

iki-nano代表移动AI从云端依赖向本地自主的转变。随着模型压缩技术与移动硬件性能提升，手机运行实用LLM日益可行。该项目为这一趋势提供技术路径与实现参考，值得移动开发者与AI研究者关注。