Voice-Assistant：基于本地大语言模型的端到端语音对话系统

Voice-Assistant是由FredieBrunn开发并开源的本地端到端语音对话系统，整合Whisper语音识别、Ollama本地大语言模型、pyttsx3语音合成，通过Flask REST API和Web界面实现完整语音交互闭环。核心理念是全流程本地运行，保障用户数据隐私，支持灵活配置与功能扩展。

项目旨在构建无需依赖云端服务的智能语音助手，解决云端服务的数据隐私问题。所有AI组件均在本地执行，确保用户数据的隐私性和系统的可访问性，实现从语音输入采集、识别转文本、LLM推理生成回复到语音合成输出的完整交互闭环，提供类似主流即时通讯工具的自然对话体验。项目已开源在GitHub。

系统采用模块化设计，分为三个核心服务层：

1. 语音识别层：使用OpenAI开源的Whisper模型，支持多种尺寸（从75MB的tiny到3GB的large-v3），用户可根据硬件条件和精度需求灵活配置；
2. 语言理解与生成层：通过Ollama本地运行大语言模型，支持Llama、Mistral等开源模型（如640MB的TinyLlama、4GB的Llama3），法语用户可选经过优化的Mistral模型；
3. 语音合成层：采用跨平台的pyttsx3库，支持多语言语音包（如法语），在Windows、Linux和macOS上兼容性良好。

环境依赖

需满足Python 3.9+、Ollama、ffmpeg、espeak（Linux/macOS通过包管理器安装）。

安装流程

提供install.sh自动安装脚本；手动安装需克隆仓库→创建并激活虚拟环境→安装Python依赖→安装启动Ollama并拉取模型→启动Flask后端→访问前端界面。

配置选项

可通过修改变量或环境变量切换Whisper模型（MODEL_STT/WHISPER_MODEL）、LLM模型（OLLAMA_MODEL），自定义服务端口。

Flask后端暴露RESTful API：

• GET /health：健康检查，返回Whisper模型版本、Ollama连接状态及可用模型列表；
• POST /transcribe：接收音频数据，返回识别文本；
• POST /chat：接收文本和语言参数，返回LLM回复；
• POST /transcribe_and_chat：直接接收音频，返回识别结果和AI回复。分层设计支持完整使用或独立集成。

全流程本地运行的优势：

• 数据隐私：语音输入和对话内容不上传外部服务器；
• 离线可用：模型下载完成后无需互联网连接；
• 成本控制：无API调用费用，适合高频使用；
• 可定制性：用户可自由修改扩展系统，不受商业服务限制。

应用场景包括：

• 个人智能助手（桌面语音交互入口）；
• 无障碍工具（视障或行动不便者的语音控制）；
• 教育辅助（语言学习发音练习与对话模拟）；
• 智能家居控制（集成Home Assistant）；
• 企业私有部署（内网定制化语音服务）。 展望：随着本地大语言模型性能提升和尺寸优化，本地优先AI应用将更实用普及。

Voice-Assistant整合Whisper、Ollama、pyttsx3三个成熟开源组件，以简洁代码实现端到端本地语音对话能力。对开发者是了解语音AI系统架构的参考案例，对需要本地部署语音助手的用户是实用选择。