局域网内自建大语言模型服务器：用一台电脑为全屋设备提供AI服务

本文介绍如何通过Ollama将单台电脑转变为局域网AI推理服务器，实现多设备共享本地大语言模型，无需每台设备单独安装模型，零API成本且保障数据隐私。原作者/维护者：ARAVINDH-1505，来源平台：GitHub，原始标题：self-hosted-llm-server，发布时间：2026年6月6日。以下将分背景、部署步骤、网络配置、客户端接入等方面详细说明。

传统本地部署需每台设备单独安装模型，占用大量存储且要求设备有足够计算资源。局域网部署方案可将一台性能较好的电脑作为服务器，其他设备通过HTTP请求访问，适合家庭、小型办公室或教学场景，解决多设备共享AI能力的痛点。

架构：系统分AI服务器端（运行Ollama服务，加载Mistral/Llama3等模型，监听局域网请求）和客户端设备（通过HTTP请求交互）。 部署步骤：1. 安装Ollama工具；2. 下载推荐模型（如Mistral）；3. 设置环境变量OLLAMA_HOST=0.0.0.0以允许局域网连接；4. 启动Ollama服务（监听11434端口）。

1. 获取服务器局域网IP（通过ipconfig/ifconfig命令）；2. 配置防火墙允许11434端口入站连接（Windows Defender需创建TCP规则）；3. 测试：在客户端浏览器访问http://服务器IP:11434，看到"Ollama is running"即成功。

客户端需安装Python requests库，通过POST请求到服务器/api/generate端点发送提示词。支持Python脚本、curl命令或其他语言程序，几乎所有能发HTTP请求的设备均可接入。

硬件参考：作者使用NVIDIA GTX1650（4GB显存）运行Mistral模型表现良好。 模型推荐：优先选择Mistral（推理速度快、内存占用低，适合多用户同时访问）；也可根据硬件条件和需求选择Llama3、Gemma3、Qwen3等开源模型。

应用场景：家庭AI助手、团队知识库、教学演示、离线AI访问（网络受限环境）。 扩展方向：集成Open WebUI提供图形化界面、添加认证层确保安全性、构建多用户聊天界面、接入MCP工具扩展能力、通过VPN实现远程访问。

该方案实用经济，解决了多设备共享AI能力的痛点，同时保持数据隐私和零运营成本优势。适合想探索本地LLM应用但不愿为每台设备配置复杂环境的用户。随着开源模型发展和硬件性能提升，本地部署方案将更趋实用。