# SharpCortex.NET：基于.NET 10的本地LLM推理编排平台

> SharpCortex.NET是一个现代化的AI编排平台，专为本地大语言模型推理工作负载而设计。它采用.NET 10、React和Ollama构建，强调可维护性、可观测性、流式推理和整洁架构，为生产环境提供轻量级但功能完整的本地AI基础设施。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-05-20T06:14:58.000Z
- 最近活动: 2026-05-20T06:48:37.334Z
- 热度: 152.4
- 关键词: .NET, 本地LLM, Ollama, AI编排, 流式推理, OpenTelemetry, PostgreSQL, React, TypeScript
- 页面链接: https://www.zingnex.cn/forum/thread/sharpcortex-net-net
- Canonical: https://www.zingnex.cn/forum/thread/sharpcortex-net-net
- Markdown 来源: ingested_event

---

## 项目概述

SharpCortex.NET是一个面向生产环境的AI编排平台，而非简单的聊天机器人应用。它的核心定位是为企业和开发者提供一个可部署在本地的LLM推理基础设施，强调操作简洁性、可观测性和架构整洁性。

该项目由douglasbarbin开发，采用.NET 10作为后端技术栈，React作为前端框架，Ollama作为本地模型运行环境。这种技术组合既保证了后端的性能和稳定性，又提供了现代化的用户交互体验。

## 核心功能特性

SharpCortex.NET提供了一系列面向生产环境的功能：

- **本地优先的LLM编排**：所有推理任务在本地完成，数据不出境，保障隐私安全
- **ChatGPT风格的对话界面**：提供熟悉且直观的用户体验
- **OpenAI兼容的API接口**：便于与现有工具和框架集成
- **流式Token响应**：实现打字机效果的实时输出，提升交互体验
- **对话持久化**：支持历史记录的保存和检索
- **生产级可观测性**：集成OpenTelemetry、结构化日志等监控手段
- **整洁的架构边界**：通过分层设计确保代码的可维护性

## 技术栈详解

后端采用.NET生态系统中的现代技术：

- **ASP.NET Core (.NET 10)**：最新的.NET版本，提供高性能的Web服务
- **Minimal APIs**：轻量级的API定义方式，减少样板代码
- **PostgreSQL**：可靠的关系型数据库，用于数据持久化
- **EF Core**：对象关系映射工具，简化数据访问
- **OpenTelemetry**：分布式追踪和指标收集
- **Polly**：弹性和瞬态故障处理库
- **Server-Sent Events (SSE)**：实现流式响应的技术基础

前端则采用React生态：

- **React + TypeScript**：类型安全的组件开发
- **Vite**：快速的开发构建工具
- **TailwindCSS**：原子化CSS框架
- **TanStack Query**：数据获取和状态管理
- **Zustand**：轻量级状态管理

## 架构设计

项目采用清晰的分层架构，将不同职责分离到独立的模块中：

| 模块 | 职责 |
|------|------|
| SharpCortex.Api | HTTP API接口层、中间件、依赖注入组合 |
| SharpCortex.Core | 核心编排逻辑和抽象定义 |
| SharpCortex.Infrastructure | 持久化、提供者、外部集成 |
| SharpCortex.Contracts | DTO和共享契约定义 |

这种分层设计使得各模块之间的依赖关系清晰，便于单元测试和功能扩展。

## 开发哲学

SharpCortex.NET在设计上遵循一些明确的原则：

**优先考虑的方面**：
- 简洁性优于不必要的抽象
- 操作现实性——解决实际问题而非追求理论完美
- 异步优先设计
- 强大的可观测性
- 清晰的依赖边界
- 可扩展性但避免过早复杂化

**刻意避免的技术**：
- 微服务架构（单体应用足够时）
- Kubernetes编排（除非确实需要）
- 重型的CQRS/MediatR架构
- 分布式编排系统
- 插件生态系统
- 代理框架

这种务实的态度使得项目保持轻量级，同时仍然具备生产环境所需的可靠性。

## 当前进展与规划

目前已完成的基础设施建设包括：

- 解决方案结构搭建
- OpenAPI/Swagger文档
- 结构化日志系统
- OpenTelemetry基础集成
- PostgreSQL连接
- 健康检查端点

下一步计划实现的功能：

- React前端启动
- 对话持久化存储
- 流式推理管道
- Ollama提供者集成
- 聊天界面开发

## 硬件支持

项目特别提到了对AMD GPU的ROCm支持，并保留未来支持NVIDIA CUDA的可能性。这种对本地硬件加速的支持是实现高效本地推理的关键。

## 总结

SharpCortex.NET代表了本地LLM部署的一种务实方案。它不追求覆盖所有可能的AI应用场景，而是专注于做好一件事：为企业和开发者提供一个可靠、可观测、易于维护的本地LLM推理平台。对于希望在私有环境中部署大语言模型，同时又不想引入过多复杂性的团队来说，这是一个值得关注的选择。