WASM上运行大语言模型：WACS运行时实现跨平台LLM推理

WACS是纯.NET实现的WebAssembly运行时，基于WASI-NN标准，支持在WASM沙箱中运行大语言模型（LLM）和小型机器学习模型，解决跨平台部署、安全隔离与高性能推理的核心问题。项目通过可插拔后端架构，让模型推理逻辑与底层平台完全解耦，实现"一次编译，到处运行"的目标。

AI应用普及背景下，开发者面临两大关键挑战：1. 部署环境多样性（不同操作系统、硬件架构）导致LLM难以无缝运行；2. 如何在保证安全隔离的同时实现高性能推理。WACS项目正是为应对这些挑战而开发。

WACS（WebAssembly Component System）是纯.NET实现的WASM运行时，专为WASI-NN（WebAssembly System Interface for Neural Networks）设计。其核心设计理念包括：

1. 沙箱化隔离：Rust编写的WASM客户组件编译一次即可跨平台运行；
2. 可插拔后端架构：通过--bind参数动态绑定推理后端，客户代码无需修改；
3. 零原生依赖：纯.NET工具，无FFI胶水代码或复杂本地库，部署简单。

WACS目前支持5种主流推理后端，详情如下：

后端	模型格式	典型模型	硬件加速
LlamaSharp	GGUF	Qwen2.5 0.5B Instruct (~352MB)	Metal/CUDA
OnnxRuntime	ONNX	Gemma3 270M (~1.14GB)	通用
OnnxRuntimeGenAI	GenAI	Gemma3 270M Instruct (~864MB)	KV缓存优化
TorchSharp	TorchScript	XOR MLP (~6KB)	libtorch
ML.NET	经典ML	自定义模型	通用

WACS的技术架构分为三层：

1. WASM客户层：使用wasm32-wasip2目标编译（WASI Preview2组件模型），实现set_input、compute、get_output、load_by_name四个核心函数；
2. 后端NuGet包：每个后端对应独立NuGet包（如WACS.WASI.NN.LlamaSharp绑定llama.cpp+Metal/CUDA）；
3. 硬件自动检测：自动适配Apple Silicon（Metal）、Linux/Windows GPU（CUDA）及CPU最优指令集（AVX/NEON）。

环境准备需满足：.NET SDK8或9、Rust+Cargo、约3GB磁盘空间。一键设置步骤：

1. 克隆仓库：git clone https://github.com/kelnishi/LLM-on-WASM.git；
2. 运行脚本：./scripts/setup.sh（安装WACS.Cli全局工具+配置后端NuGet包）。 运行示例：

• GGUF模型：./scripts/run-llm.sh -v；
• ONNX模型：./scripts/run-slm.sh -v；
• 切换后端：通过wacs run --bind指定不同后端DLL即可。

意义：

• 可移植性：模型推理逻辑与底层平台完全解耦；
• 安全隔离：WASM沙箱提供内存安全与能力安全保证；
• 灵活部署：支持边缘设备、云服务、桌面应用等场景；
• 开发体验：用Rust编写客户逻辑，无需关心ML框架细节。 未来展望：更广泛的模型格式支持、高效量化方案、分布式推理编排、浏览器原生LLM推理等。

WACS运行时将WebAssembly的可移植性、安全性与WASI-NN的标准化优势相结合，为AI部署提供了全新思路。它实现了LLM的"一次编译，到处运行"，是追求跨平台、安全隔离与灵活部署的AI开发者值得关注的创新项目。