# Omni VA：一款支持多模态交互的本地AI虚拟助手

> Omni VA 是一个基于本地大语言模型的桌面虚拟助手，支持语音交互、音乐播放和多模态输入，集成了OmniStep Evolution Radio插件实现个性化音乐推荐。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-08T20:41:08.000Z
- 最近活动: 2026-06-08T20:50:27.558Z
- 热度: 150.8
- 关键词: AI助手, 多模态, 本地模型, 语音交互, Live2D, Qwen, 虚拟助手, 音乐推荐
- 页面链接: https://www.zingnex.cn/forum/thread/omni-va-ai
- Canonical: https://www.zingnex.cn/forum/thread/omni-va-ai
- Markdown 来源: ingested_event

---

## 原作者与来源

- **原作者/维护者：** SouthpawIN
- **来源平台：** GitHub
- **原始标题：** nous-girl-agent
- **原始链接：** https://github.com/SouthpawIN/nous-girl-agent
- **发布时间：** 2026年6月8日

---

## 项目概述

Omni VA 是一款创新的桌面虚拟助手项目，它将本地大语言模型与多模态交互能力相结合，为用户提供了一个既智能又个性化的AI伴侣。该项目不仅仅是一个简单的聊天机器人，而是一个完整的多层架构系统，包含虚拟助手界面、策展代理和优先级分流机制。

项目的核心亮点在于其**多模态原生设计**——默认支持文本、语音和视觉输入，并能输出文本和语音。这种设计让AI交互更加自然和丰富，用户可以通过语音与助手对话，助手也能以语音回应，甚至还能根据上下文播放音乐。

---

## 技术架构与核心组件

Omni VA 采用了独特的三层架构设计，各层之间通过精心设计的接口协同工作：

### 第一层：Omni VA（虚拟助手界面）

这是用户直接交互的层面，基于 Open-LLM-VTuber 分叉开发，使用 Live2D 技术呈现生动的虚拟形象。它的特点包括：

- **始终在线、低资源占用**：设计为常驻后台，不会过度消耗系统资源
- **多模态交互**：支持网络搜索、网页获取、笔记记录和社交媒体功能
- **语音优先**：支持语音输入输出，让交互更加自然
- **智能降级**：当切换到纯文本模型时，会自动使用 Edge TTS 和精选播放列表作为后备方案

### 第二层：Senter（优先级分流）

Senter 是一个按需运行的优先级分流层，位于策展和执行之间。它会读取虚拟助手生成的维基笔记，返回按优先级排序的任务列表。这种设计让系统能够智能地决定哪些任务需要立即执行，哪些可以延后处理。

### 第三层：Hermes Agent（执行层）

Hermes Agent 是一个功能完整的工具集代理，具备代码执行、终端操作、任务委托和计算机控制能力。它接收来自 Senter 的任务，并实际执行各种复杂操作。

---

## OmniStep Evolution Radio：会进化的音乐电台

项目中最具特色的组件是 **OmniStep Evolution Radio** 插件。这不是一个简单的音乐播放器，而是一个具有自我进化能力的智能电台系统：

### 核心功能

- **感知用户交互**：观察用户与系统的互动内容
- **智能播放列表生成**：根据用户口味自动构建播放列表
- **LoRA 训练**：学习用户的音乐偏好，不断优化推荐
- **Ohm 进化链**：将学习成果反馈到进化链中，实现自我改进

### 技术实现

OmniStep 基于 Qwen2.5-Omni-3B 模型，这是一个真正的多模态模型，原生支持文本、语音和视觉输入，并能输出文本和语音。项目还维护了一个精选的模型目录（`models/curated.yaml`），包含8个条目，涵盖多模态原生模型、带TTS的文本模型和辅助模型。

---

## 模型目录与配置

项目提供了一个精心策划的模型目录，每个条目都配对了一个模型、语音和 capability 标志：

| 层级 | 模型 |
|------|------|
| 多模态原生 | Qwen2.5-Omni-3B（默认）、OmniStep（即将发布） |
| 带TTS的文本 | Darwin-28B、APEX-MTP、Qwen3-Coder-30B-A3B、Qwen3.5-27B-Claude、Qwen3.5-27B-Sushi、Qwen3.5-35B-A3B |
| 辅助 | OmniSenter（即将发布第一阶段） |

这种分层设计让用户可以根据自己的硬件条件和需求选择合适的模型配置。

---

## 安装与使用

项目的安装过程相对简单，主要步骤包括：

1. **克隆仓库**：`git clone https://github.com/SouthpawIN/nous-girl-agent`
2. **运行安装脚本**：`./scripts/install.sh`
3. **启动完整系统**：`./scripts/dev.sh`（同时启动VA、电台、代理和桥接）

也可以单独启动各个组件：
- `./scripts/run-assistant.sh` —— 启动 Live2D VA
- `./scripts/run-radio.sh start` —— 启动电台插件
- `./scripts/run-agent.sh` —— 启动策展代理

---

## 项目意义与展望

Omni VA 代表了本地AI助手的发展方向——不仅仅是功能的堆砌，而是通过精心设计的架构实现真正的智能化和个性化。其多模态设计、自我进化能力和分层架构为本地AI应用提供了新的思路。

对于关注AI代理、本地大模型部署和多模态交互的开发者来说，这是一个值得深入研究的优秀项目。它展示了如何将前沿的AI技术与实际的用户需求相结合，创造出既有技术含量又实用的产品。

---

## 相关链接

- 项目主页：https://southpawin.github.io/
- 博客：https://southpawin.github.io/blog/
- OmniSenter 管道：https://github.com/SouthpawIN/evolutionary-training
- Evolutionary Radio（上游）：https://github.com/SouthpawIN/evolutionary-radio
- Hermes Agent：https://github.com/SouthpawIN/hermes-agent