Convo-LLM-Voice-Agent-Bootstrap：为数字艺术家打造的本地优先语音对话系统

一款面向数字艺术家的开源语音对话LLM代理模板，采用本地优先架构，支持Whisper语音识别、Ollama本地大模型和Piper语音合成，兼顾隐私保护与可持续性。

在生成式AI技术快速普及的今天，语音交互已成为人机对话的重要入口。然而，大多数语音助手依赖云端服务，带来隐私泄露风险和持续的网络依赖。Convo-LLM-Voice-Agent-Bootstrap项目应运而生，它专为数字艺术家设计，提供了一个完整的本地优先语音对话系统模板。

该项目的核心理念是"本地优先"（Local First）——所有计算都在用户设备上完成，无需将语音数据上传至云端。这不仅保护了用户的隐私，还降低了能源消耗，符合可持续发展的技术伦理。项目作者特别强调，这是一个供艺术家批判性探索AI技术的实验场，而非一个宣称拥有"真正智能"的商业产品。

该项目采用模块化设计，由三个核心组件构成完整的语音对话流水线：

Whisper是OpenAI开源的通用语音识别模型，项目将其作为本地运行的语音转文本引擎。用户可以通过简单的按键触发录音，Whisper将实时将语音转换为文字输入。项目支持多种模型尺寸（tiny、base、small、medium、large、turbo），用户可根据硬件性能灵活选择。

Ollama是该项目的默认LLM运行环境，支持在本地运行多种开源大模型，如Llama 3.2、Mistral等。项目设计允许无缝切换至云端API（OpenAI GPT、Google Gemini、Anthropic Claude），但默认推荐本地模型以确保隐私。Ollama会在首次运行时自动拉取所需模型，并在退出时优雅地关闭服务。

Piper是一个轻量级的本地语音合成系统，支持多种高质量语音模型。项目提供了丰富的英语语音选择（超过30种音色），涵盖英式英语和美式英语的不同口音、性别和音质等级。用户可通过简单的配置文件切换语音，无需修改代码。

这三个组件都基于神经网络Transformer架构，这也是ChatGPT等现代AI系统的技术基础。

项目的安装过程设计得尽可能简洁，支持macOS、Linux和Raspberry Pi等多种平台。

macOS安装示例：

# 安装系统依赖
brew install portaudio ffmpeg ollama

# 使用uv创建Python环境
curl -LsSf https://astral.sh/uv/install.sh | sh
uv python install 3.11
uv venv --python 3.11
source .venv/bin/activate
uv sync

# 下载语音模型
./download_english_piper_voices.sh voices

配置完全通过config.json文件完成，无需修改Python代码。配置文件包含音频参数、Whisper模型选择、触发方式、LLM提供商设置、TTS语音选择以及系统提示词等模块。

项目支持四种LLM提供商，用户可根据需求自由切换：

提供商	是否需要API密钥	推荐模型示例
Ollama	否	llama3.2:3b
OpenAI	需要OPENAI_API_KEY	gpt-4o-mini
Google Gemini	需要GEMINI_API_KEY	gemini-1.5-flash
Anthropic	需要ANTHROPIC_API_KEY	claude-3-5-sonnet

对于Raspberry Pi等低功耗设备，项目建议使用tiny级Whisper模型和1B参数的小模型（如llama3.2:1b），以确保在有限内存和算力下流畅运行。