inferis-ml：浏览器端AI模型运行框架

inferis-ml让AI模型直接在浏览器中运行，通过Web Worker池、WebGPU/WASM自动降级和跨标签页去重，解决了端侧AI部署的核心痛点。

将AI能力从云端迁移到用户设备端，正在成为行业的重要趋势。端侧AI意味着更低的延迟、更好的隐私保护、零网络依赖，以及显著的长期成本节约。然而，在浏览器中运行神经网络面临着一系列技术难题。

最直接的障碍是性能：在浏览器主线程上运行模型会导致页面卡顿甚至无响应。其次是资源管理：如果用户打开多个标签页，每个页面都加载一份模型副本，内存很快就会被耗尽。还有兼容性挑战：WebGPU作为高性能计算的后端并非所有浏览器都支持，需要优雅降级到WASM方案。

现有的浏览器AI运行时（如transformers.js、web-llm、onnxruntime-web）提供了推理能力，但将Worker管理、生命周期控制、跨标签协调等工作完全留给开发者。inferis-ml的出现正是为了解决这些痛点。

inferis-ml是一个浏览器端的AI模型Worker池框架，它封装了运行模型所需的全部基础设施，让开发者可以专注于业务逻辑而非底层细节。

Web Worker池管理

框架自动将模型推理任务分配到后台Worker线程，确保主线程保持响应。开发者无需手动创建Worker或处理postMessage的繁琐通信。

WebGPU与WASM自动降级

默认配置下，inferis-ml会优先尝试使用WebGPU以获得最佳性能，如果浏览器不支持则自动回退到WASM后端。这个过程对开发者完全透明。

跨标签页去重

这是inferis-ml最具创新性的特性。当用户打开多个使用inferis-ml的网站标签页时，框架通过三级策略避免重复加载模型：

• 一级策略：使用SharedWorker，所有标签页共享同一个Worker实例
• 二级策略：当SharedWorker不可用时，通过leader选举机制让一个标签页成为"主节点"，其他标签页复用其模型实例
• 三级策略：降级到每个标签页独立运行，保证兼容性

这意味着即使用户打开5个标签页，内存中也只保留一份模型副本，而非5份。

流式输出支持

对于文本生成类任务，inferis-ml支持ReadableStream流式输出，配合for await语法可以实现类似ChatGPT的逐字显示效果，提升用户体验。

内存预算与LRU淘汰

框架支持配置内存上限，当加载的模型超过预算时，会自动淘汰最近最少使用的模型，防止浏览器崩溃。

AbortController支持

任何正在进行的推理都可以通过AbortController取消，这对于实现"停止生成"按钮等功能至关重要。

语义搜索

用户输入查询词，系统需要基于语义相似度而非关键词匹配来检索内容。使用inferis-ml可以在浏览器端完成文本嵌入计算：

const embedder = await pool.load('feature-extraction', {
  model: 'mixedbread-ai/mxbai-embed-xsmall-v1',
  onProgress: ({ phase, loaded, total }) => {
    // 显示加载进度
  },
});

const articles = ['如何选购笔记本电脑', '罗宋汤食谱', '罗马历史'];
const embeddings = await embedder.run(articles);
// 计算查询词与文章的余弦相似度

这种方式无需将用户查询发送到服务器，既保护了隐私又降低了服务器成本。

浏览器内聊天机器人

使用web-llm适配器，可以在浏览器中直接运行Llama等开源模型：

const llm = await pool.load('text-generation', {
  model: 'Llama-3.2-3B-Instruct-q4f32_1-MLC',
});

const stream = llm.stream({
  messages: [
    { role: 'system', content: '你是一个 helpful 的助手。' },
    { role: 'user', content: userQuestion },
  ],
});

for await (const token of stream) {
  outputDiv.textContent += token;
}

模型下载一次后缓存本地，后续对话零服务器成本。

语音转文字

使用Whisper模型在浏览器端实现实时语音转录，无需将音频数据上传到云端：

const transcriber = await pool.load('automatic-speech-recognition', {
  model: 'openai/whisper-base',
  estimatedMemoryMB: 80,
});

const audioData = await getMicrophoneAudio();
const result = await transcriber.run(audioData);
console.log(result.text);

inferis-ml采用适配器模式支持多种底层运行时：

• transformersAdapter：基于@huggingface/transformers，适合Hugging Face生态的模型
• webLlmAdapter：基于@mlc-ai/web-llm，针对LLM推理优化
• onnxAdapter：基于onnxruntime-web，支持ONNX格式模型

这种设计让开发者可以根据模型类型和性能需求选择最合适的后端，甚至可以为特定模型编写自定义适配器。

inferis-ml的API设计遵循现代JavaScript/TypeScript最佳实践：

• 零框架依赖：不绑定React、Vue或任何UI框架，可以在任何项目中使用
• 完整TypeScript支持：提供类型定义，享受IDE自动补全和类型检查
• 生命周期事件：通过onProgress回调和onStateChange监听模型加载和运行状态
• 简洁的异步API：使用async/await处理异步操作，代码清晰易读

使用inferis-ml的架构转变带来了显著的成本优势：

传统云端方案：

• 每次用户请求都需要调用付费API
• 服务器需要维护GPU实例或调用第三方服务
• 用户数据需要上传到云端处理

inferis-ml端侧方案：

• 模型下载一次后本地缓存，后续推理零边际成本
• 服务器只需提供静态文件，可使用CDN分发
• 用户数据完全在本地处理，隐私合规更简单

对于高频使用场景（如企业知识库问答、个人AI助手），这种成本优势会随着用户规模扩大而愈发明显。

尽管inferis-ml解决了许多端侧AI的痛点，开发者仍需注意以下限制：

首次加载成本：模型文件通常较大（数百MB到数GB），首次访问需要下载时间。可以通过Service Worker缓存和渐进式加载策略缓解。

设备性能差异：低端设备上的推理速度可能较慢，需要设计降级方案（如云端回退）。

浏览器兼容性：WebGPU目前主要在Chrome和Edge中支持较好，Safari和Firefox的支持仍在完善中。

模型选择限制：并非所有模型都适合浏览器部署，需要选择已针对Web优化的版本（如量化后的MLC格式）。