expo-litert-lm：在 React Native 应用中实现端侧大语言模型推理

介绍 expo-litert-lm 项目，这是一个 Expo 配置插件和模块，支持在 React Native 应用中完全离线运行 Gemma 4 等大语言模型，实现隐私保护和零云端成本的 AI 功能。

随着大语言模型（LLM）技术的快速发展，越来越多的开发者希望将 AI 能力集成到移动应用中。然而，传统的云端 API 调用方式存在几个明显的问题：需要稳定的网络连接、涉及用户隐私数据传输、产生持续的 API 调用成本，以及面临潜在的服务中断风险。

端侧推理（On-Device Inference）成为解决这些问题的关键技术路径。通过在用户设备本地运行模型，可以实现完全离线的 AI 功能，同时保护用户隐私并消除云端成本。expo-litert-lm 项目正是基于这一理念，为 React Native 开发者提供了一套完整的端侧 LLM 解决方案。

expo-litert-lm 是一个专为 Expo 和 React Native 应用设计的配置插件和原生模块。它基于 Google 的 LiteRT（前身是 TensorFlow Lite）运行时，支持在 iOS 和 Android 设备上完全离线运行 Gemma 4 等大语言模型。

该项目的核心优势在于：

• 完全端侧运行：无需 API 密钥，不产生云端成本，确保用户数据完全私有化
• 无缝 Expo 集成：通过 Config Plugin 机制，开发者可以轻松将其集成到现有 Expo 项目中
• LiteRT 优化：充分利用 Google 最新的 LiteRT 运行时，获得高效的推理性能
• 跨平台支持：同时支持 iOS 和 Android 两大移动平台

LiteRT 是 Google 推出的轻量级机器学习运行时，专门为移动和边缘设备优化。它支持模型量化、硬件加速（如 GPU、NPU）等特性，使得在资源受限的设备上运行大模型成为可能。

expo-litert-lm 通过封装 LiteRT 的 C++ API，为 JavaScript 层提供了简洁的调用接口。这种架构设计既保证了原生性能，又维持了 React Native 开发的便利性。

Expo 的 Config Plugin 系统允许开发者在构建阶段自动配置原生项目的构建设置。expo-litert-lm 利用这一机制，自动处理以下配置：

• Android 端的 CMake 配置和 NDK 路径设置
• iOS 端的 CocoaPods 依赖管理
• Metal 和 GPU 加速的启用配置

这种自动化配置大大简化了开发者的集成工作，避免了手动修改原生项目文件的繁琐步骤。

开发者可以通过 npm、yarn 或 Expo CLI 安装该模块：

npm install expo-litert-lm
# 或
yarn add expo-litert-lm
# 或
npx expo install expo-litert-lm

在 app.json 或 app.config.js 中添加插件配置：

{
  "expo": {
    "plugins": [
      [
        "expo-litert-lm",
        {
          "enableMetal": true,
          "enableGPU": true
        }
      ]
    ]
  }
}

由于该模块包含原生 C++ 代码，开发者需要创建开发构建（Development Build）来测试功能：

npx expo run:android
# 或
npx expo run:ios