# TensorSharp：用C#在本地运行大语言模型的全新推理引擎 > TensorSharp是一个基于C#开发的大语言模型本地推理引擎，支持GGUF格式模型文件，提供命令行和Web界面，支持多模态对话。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-03T07:07:34.000Z - 最近活动: 2026-04-03T07:19:36.530Z - 热度: 161.8 - 关键词: C#, LLM, 推理引擎, GGUF, 本地部署, 多模态, Gemma, Qwen, .NET - 页面链接: https://www.zingnex.cn/forum/thread/tensorsharp-c - Canonical: https://www.zingnex.cn/forum/thread/tensorsharp-c - Markdown 来源: ingested_event --- ## 背景：为什么需要TensorSharp 随着大语言模型（LLM）技术的快速发展，越来越多的开发者和企业希望在本地环境中运行这些模型，以保护数据隐私并降低对云服务的依赖。然而，大多数现有的推理引擎都是用Python或C++编写的，对于.NET生态系统的开发者来说，集成和使用这些工具往往存在门槛。 TensorSharp的出现填补了这一空白。它是一个完全基于C#开发的推理引擎，让.NET开发者能够在熟悉的生态系统中本地运行大语言模型，无需依赖外部Python环境或复杂的C++绑定。 ## 项目概述 TensorSharp由开发者Zhongkai Fu创建，是一个开源的C#推理引擎，专门用于运行GGUF格式的大语言模型。GGUF是llama.cpp项目推广的一种模型文件格式，以其高效的存储和加载性能而闻名。 该项目不仅仅是一个简单的模型加载器，而是一个完整的推理解决方案，包括： - **核心张量库（TensorSharp）**：提供张量类型、存储抽象和可扩展的操作注册表，CPU实现使用System.Numerics.Vectors进行SIMD加速 - **GGML后端绑定（TensorSharp.GGML）**：通过原生C++桥接提供GPU加速实现 - **推理引擎（InferenceEngine）**：实现模型特定逻辑，包括GGUF解析、分词、聊天模板渲染和各架构的前向传播 - **应用层**：提供命令行控制台应用和基于ASP.NET Core的Web聊天机器人界面 ## 支持的模型与多模态能力 TensorSharp目前支持多种主流的开源大语言模型： | 模型系列 | 支持版本 | 多模态能力 | |---------|---------|-----------| | Gemma 4 | gemma-4-E4B, gemma-4-31B | 图像、视频、音频 | | Gemma 3 | gemma-3-4b等 | 图像 | | Qwen 3 | Qwen3-4B等 | 纯文本 | | Qwen 3.5 | Qwen3.5-9B等 | 图像 | 特别值得一提的是，Gemma 4模型的支持使TensorSharp具备了处理图像、视频和音频输入的能力。对于视频输入，系统会使用OpenCV提取最多8帧（每秒1帧）进行处理；对于音频输入，支持WAV（16kHz单声道）、MP3和OGG Vorbis格式。 ## 灵活的计算后端 TensorSharp设计了三种计算后端，以适应不同的硬件环境： ### 1. GGML Metal后端（推荐用于Apple Silicon） 通过`--backend ggml_metal`参数启用，利用Apple Metal框架在macOS上实现GPU加速。这是Apple Silicon设备上性能最优的选择。 ### 2. GGML CPU后端 通过`--backend ggml_cpu`参数启用，使用原生GGML库进行CPU推理，包含优化的内核实现。 ### 3. 纯C# CPU后端 通过`--backend cpu`参数启用，这是一个完全可移植的CPU推理实现，不依赖任何原生库，适合对部署环境有特殊要求的场景。 ## 使用方法 ### 环境准备 使用TensorSharp需要以下环境： - .NET 8.0 SDK或更高版本 - macOS用户（使用Metal后端）：CMake 3.20+和Xcode命令行工具 - GGUF模型文件（可从Hugging Face下载） ### 构建项目 ```bash dotnet build TensorSharp.slnx ``` 原生库会在首次构建时自动编译。如需手动构建Metal支持库： ```bash cd TensorSharp.GGML.Native bash build-macos.sh ``` ### 命令行推理 **文本推理：** ```bash ./InferenceConsole --model --input input.txt --output output.txt \ --max-tokens 200 --backend ggml_metal ``` **图像推理（Gemma 3/4, Qwen 3.5）：** ```bash ./InferenceConsole --model --image photo.png --backend ggml_metal ``` **视频推理（Gemma 4）：** ```bash ./InferenceConsole --model --video clip.mp4 --backend ggml_metal ``` **音频推理（Gemma 4）：** ```bash ./InferenceConsole --model --audio speech.wav --backend ggml_metal ``` ### Web界面 TensorSharp还提供了一个基于ASP.NET Core的Web聊天界面： ```bash cd InferenceWeb/bin MODEL_DIR=./models BACKEND=ggml_metal ./InferenceWeb ``` 然后访问`http://localhost:5000`即可使用。Web界面支持： - 多轮对话 - 从MODEL_DIR自动选择模型 - 图像、视频、音频上传进行多模态推理 - 通过Server-Sent Events实现流式token生成 ## 技术架构解析 TensorSharp采用了清晰的分层架构设计： 1. **核心层（TensorSharp）**：提供基础的张量操作和SIMD加速的CPU实现 2. **后端层（TensorSharp.GGML）**：通过原生桥接实现GPU加速，复用成熟的ggml库 3. **引擎层（InferenceEngine）**：处理模型加载、分词、模板渲染和推理逻辑 4. **应用层**：提供用户交互界面 这种架构的优势在于： - **可扩展性**：新的模型架构可以通过继承ModelBase类轻松添加 - **性能优化**：核心计算可以透明地在CPU和GPU之间切换 - **跨平台**：纯C#后端确保在没有原生库的环境中也能运行 ## 实际应用场景 TensorSharp适用于多种场景： 1. **企业本地部署**：对于数据敏感的企业，可以在内部服务器上部署LLM，避免数据上传到云端 2. **.NET系统集成**：现有.NET应用可以直接集成TensorSharp，无需引入Python依赖 3. **边缘设备推理**：轻量级设计适合在资源受限的设备上运行 4. **多模态应用开发**：支持图像、视频、音频输入，可构建丰富的AI应用 ## 总结与展望 TensorSharp为.NET生态系统带来了原生的LLM推理能力，填补了该领域的重要空白。它不仅提供了与Python工具链相媲美的功能，还充分利用了.NET的性能优势和跨平台特性。 随着大语言模型技术的持续演进，TensorSharp有望成为.NET开发者构建AI应用的重要工具。项目的开源性质也意味着社区可以共同参与改进，添加更多模型支持和功能特性。 对于希望在.NET环境中探索大语言模型的开发者来说，TensorSharp无疑是一个值得关注和尝试的项目。