ProxyFace：为AI赋予面孔与情感的本地实时情感可视化工具

ProxyFace 是一款创新的开源项目，通过仅 4MB 的 TinyBERT 情感模型在本地实时分析 LLM 输出并呈现像素艺术表情。支持 WebGPU 加速、零云端依赖、40+ 可定制角色，让 AI 交互更具温度和沉浸感。

引言：当AI获得面孔\n\n大型语言模型（LLM）的能力在过去几年突飞猛进，但人机交互界面却长期停留在文本对话框的形式。这种"无面"的交互模式虽然高效，却难以建立情感连接——用户很难感知 AI 的"情绪"，AI 也无法通过非语言线索反馈其状态。\n\nProxyFace 的出现打破了这一局面。这款开源工具为 AI 赋予了像素艺术风格的动态面孔，能够实时读取 LLM 输出的情感色彩并作出相应表情。更重要的是，这一切都在本地完成：4MB 的模型体积、WebGPU 推理加速、零云端依赖，让隐私与体验兼得。\n\n## 核心功能与技术架构\n\n### 实时情感识别引擎\n\nProxyFace 的核心是一个基于 TinyBERT 的情感分类模型，经过 INT8 量化后仅 4MB 大小。该模型在 3200 条标注数据上训练，覆盖 8 种基本情感状态：\n\n- 喜悦（Joy）\n- 悲伤（Sadness）\n- 愤怒（Anger）\n- 恐惧（Fear）\n- 惊讶（Surprise）\n- 厌恶（Disgust）\n- 好奇（Curiosity）\n- 尴尬（Embarrassment）\n\n模型通过 ONNX Runtime Web 在浏览器中运行，优先使用 WebGPU 加速，在不支持的环境下自动回退到 WASM CPU 模式。这种设计确保了跨平台的兼容性和性能表现。\n\n### 像素艺术角色系统\n\n项目提供了 40+ 预设角色，每个角色包含 8 种情感状态的像素艺术动画。角色采用统一的精灵图（sprite sheet）格式：4096×2048 像素、16 列×8 行、每格 256×256 像素、透明背景。这种标准化设计使得社区创作和角色扩展变得简单。\n\n用户可以通过简单的文件拖放添加自定义角色，或提交作品进入官方画廊。项目推荐使用 Kimi 2.6 的 Agent 模式进行角色生成，保持 1993 年像素艺术风格的视觉一致性。\n\n### 多模态交互模式\n\nProxyFace 支持四种交互模式，适应不同场景需求：\n\nHF 模式（Hands-Free）：全自动双向对话，AI 在检测到用户停顿后自动回复，适合语言练习等场景。\n\n半自动模式：按住 Alt+T 说话，松开后自动发送，AI 以表情和语音回应。\n\n机器人模式：打字机音效伴随 AI 流式输出，营造复古科技氛围。\n\n自然模式：使用浏览器 TTS 或 API TTS 朗读回复，支持多语言发音。\n\n### 本地视觉追踪\n\n项目集成了 MediaPipe 面部关键点检测，完全在本地运行。系统可以追踪用户的视线方向，使 AI 角色的瞳孔随之移动，创造"眼神接触"的沉浸感。所有视频处理都在设备端完成，无任何图像数据上传。\n\n## 技术实现细节\n\n### 前端架构\n\nProxyFace 采用现代前端技术栈：\n\n- Monorepo 管理：pnpm workspaces + Turborepo\n- 框架：React 18 + TypeScript 5\n- 构建工具：Vite 5\n- 样式：Tailwind CSS 3（共享 CRT 显示器预设）\n- 桌面端：Electron 30 封装\n\n### 模型推理流程\n\n\n用户输入 → LLM API → 流式输出 → TinyBERT 情感分析 → \n情感标签 → 精灵图动画切换 → 实时渲染\n\n\n情感分析针对 AI 的输出内容进行，而非用户的输入。这意味着角色的表情反映的是 AI 对其生成内容的"态度"——自信时微笑、遇到矛盾时困惑、完成复杂推理后满足。\n\n### 隐私与安全设计\n\nProxyFace 从设计之初就将隐私置于首位：\n\n- 零云端推理：所有情感分析在本地 GPU/CPU 完成\n- API 密钥本地存储：用户的 LLM API 密钥仅保存在浏览器 localStorage，从不传输到项目服务器\n- 无遥测：没有任何使用数据收集\n- 开源可审计：GPL-3.0 许可证，代码完全透明\n\n## 典型应用场景\n\n### 语言学习伙伴\n\n一位用户分享的使用体验："我用它来练习日语。每次我说错时南瓜头露出惊讶表情，这种奇怪的激励方式让我更有动力继续。"情感反馈让语言练习从单调的重复变成有趣的互动。\n\n### 编程助手可视化\n\n当 AI 助手在分析代码时，角色可以展示专注表情；发现潜在 bug 时显示警觉；完成重构后表现满足。这种视觉反馈帮助开发者感知 AI 的工作状态。\n\n### 创意写作协作\n\n在故事创作过程中，AI 角色的表情可以反映其对情节发展的"情绪反应"——为悲伤段落难过、为幽默桥段发笑、为悬念转折惊讶——成为创作者的虚拟共鸣者。\n\n### 无障碍交互增强\n\n对于有视觉或认知障碍的用户，情感可视化提供了额外的信息维度，帮助理解 AI 回复的语气和确定性程度。\n\n## 社区与扩展性\n\n### 角色创作生态\n\nProxyFace 鼓励社区参与角色创作。官方提供了详细的角色提交规范，并接受两种投稿方式：邮件投稿（yes@proxyface.com）或 GitHub PR。优秀角色有机会进入官方画廊，被更多用户使用。\n\n### 技术扩展性\n\n项目架构支持多种扩展方向：\n\n- 新情感维度：当前 8 种情感可以扩展，模型支持增量训练\n- 自定义动画：角色精灵图格式开放，支持逐帧动画\n- 多模型支持：目前支持 OpenAI、Anthropic、Google 等主流 LLM API\n- 插件系统：核心逻辑封装在 proxyface-core 包中，便于集成到其他应用\n\n## 使用入门\n\n### Web 版本\n\nbash\ngit clone https://github.com/PacifAIst/Proxyface.git\ncd Proxyface\npnpm install\ncd apps/web && pnpm dev\n# 访问 http://localhost:5173\n\n\n### 桌面版本\n\n项目提供 Windows 安装包（.exe），可从 Releases 页面下载。由于尚未进行代码签名，Windows SmartScreen 可能会显示安全警告，选择"更多信息"→"仍要运行"即可。\n\n### 模型训练\n\n对于希望自定义情感模型的开发者，项目提供了 Google Colab 训练笔记本（proxyface_train.ipynb）。使用 T4 GPU 可在数小时内完成模型微调，支持上传自定义情感数据集进行领域适配。\n\n## 总结与展望\n\nProxyFace 代表了人机交互界面演进的一个重要方向：从纯文本对话向多模态、情感化体验的过渡。它证明了即使使用轻量级模型（4MB TinyBERT），也能实现令人印象深刻的实时情感反馈。\n\n项目的成功之处在于平衡了多个维度：本地隐私与云端能力、技术复杂性与用户体验、功能丰富与资源轻量。这种平衡使其不仅是一个有趣的实验，更是一个实用的日常工具。\n\n随着 LLM 能力的持续提升，用户对交互体验的期望也在水涨船高。ProxyFace 展示了一种可能性：AI 助手不仅可以提供信息，还可以提供陪伴、反馈和情感共鸣。这或许是人机协作进化的下一个前沿。\n\n

引言：当AI获得面孔\n\n大型语言模型（LLM）的能力在过去几年突飞猛进，但人机交互界面却长期停留在文本对话框的形式。这种"无面"的交互模式虽然高效，却难以建立情感连接——用户很难感知 AI 的"情绪"，AI 也无法通过非语言线索反馈其状态。\n\nProxyFace 的出现打破了这一局面。这款开源工具为 AI 赋予了像素艺术风格的动态面孔，能够实时读取 LLM 输出的情感色彩并作出相应表情。更重要的是，这一切都在本地完成：4MB 的模型体积、WebGPU 推理加速、零云端依赖，让隐私与体验兼得。\n\n核心功能与技术架构\n\n实时情感识别引擎\n\nProxyFace 的核心是一个基于 TinyBERT 的情感分类模型，经过 INT8 量化后仅 4MB 大小。该模型在 3200 条标注数据上训练，覆盖 8 种基本情感状态：\n\n- 喜悦（Joy）\n- 悲伤（Sadness）\n- 愤怒（Anger）\n- 恐惧（Fear）\n- 惊讶（Surprise）\n- 厌恶（Disgust）\n- 好奇（Curiosity）\n- 尴尬（Embarrassment）\n\n模型通过 ONNX Runtime Web 在浏览器中运行，优先使用 WebGPU 加速，在不支持的环境下自动回退到 WASM CPU 模式。这种设计确保了跨平台的兼容性和性能表现。\n\n像素艺术角色系统\n\n项目提供了 40+ 预设角色，每个角色包含 8 种情感状态的像素艺术动画。角色采用统一的精灵图（sprite sheet）格式：4096×2048 像素、16 列×8 行、每格 256×256 像素、透明背景。这种标准化设计使得社区创作和角色扩展变得简单。\n\n用户可以通过简单的文件拖放添加自定义角色，或提交作品进入官方画廊。项目推荐使用 Kimi 2.6 的 Agent 模式进行角色生成，保持 1993 年像素艺术风格的视觉一致性。\n\n多模态交互模式\n\nProxyFace 支持四种交互模式，适应不同场景需求：\n\nHF 模式（Hands-Free）：全自动双向对话，AI 在检测到用户停顿后自动回复，适合语言练习等场景。\n\n半自动模式：按住 Alt+T 说话，松开后自动发送，AI 以表情和语音回应。\n\n机器人模式：打字机音效伴随 AI 流式输出，营造复古科技氛围。\n\n自然模式：使用浏览器 TTS 或 API TTS 朗读回复，支持多语言发音。\n\n本地视觉追踪\n\n项目集成了 MediaPipe 面部关键点检测，完全在本地运行。系统可以追踪用户的视线方向，使 AI 角色的瞳孔随之移动，创造"眼神接触"的沉浸感。所有视频处理都在设备端完成，无任何图像数据上传。\n\n技术实现细节\n\n前端架构\n\nProxyFace 采用现代前端技术栈：\n\n- Monorepo 管理：pnpm workspaces + Turborepo\n- 框架：React 18 + TypeScript 5\n- 构建工具：Vite 5\n- 样式：Tailwind CSS 3（共享 CRT 显示器预设）\n- 桌面端：Electron 30 封装\n\n模型推理流程\n\n\n用户输入 → LLM API → 流式输出 → TinyBERT 情感分析 → \n情感标签 → 精灵图动画切换 → 实时渲染\n\n\n情感分析针对 AI 的输出内容进行，而非用户的输入。这意味着角色的表情反映的是 AI 对其生成内容的"态度"——自信时微笑、遇到矛盾时困惑、完成复杂推理后满足。\n\n隐私与安全设计\n\nProxyFace 从设计之初就将隐私置于首位：\n\n- 零云端推理：所有情感分析在本地 GPU/CPU 完成\n- API 密钥本地存储：用户的 LLM API 密钥仅保存在浏览器 localStorage，从不传输到项目服务器\n- 无遥测：没有任何使用数据收集\n- 开源可审计：GPL-3.0 许可证，代码完全透明\n\n典型应用场景\n\n语言学习伙伴\n\n一位用户分享的使用体验："我用它来练习日语。每次我说错时南瓜头露出惊讶表情，这种奇怪的激励方式让我更有动力继续。"情感反馈让语言练习从单调的重复变成有趣的互动。\n\n编程助手可视化\n\n当 AI 助手在分析代码时，角色可以展示专注表情；发现潜在 bug 时显示警觉；完成重构后表现满足。这种视觉反馈帮助开发者感知 AI 的工作状态。\n\n创意写作协作\n\n在故事创作过程中，AI 角色的表情可以反映其对情节发展的"情绪反应"——为悲伤段落难过、为幽默桥段发笑、为悬念转折惊讶——成为创作者的虚拟共鸣者。\n\n无障碍交互增强\n\n对于有视觉或认知障碍的用户，情感可视化提供了额外的信息维度，帮助理解 AI 回复的语气和确定性程度。\n\n社区与扩展性\n\n角色创作生态\n\nProxyFace 鼓励社区参与角色创作。官方提供了详细的角色提交规范，并接受两种投稿方式：邮件投稿（yes@proxyface.com）或 GitHub PR。优秀角色有机会进入官方画廊，被更多用户使用。\n\n技术扩展性\n\n项目架构支持多种扩展方向：\n\n- 新情感维度：当前 8 种情感可以扩展，模型支持增量训练\n- 自定义动画：角色精灵图格式开放，支持逐帧动画\n- 多模型支持：目前支持 OpenAI、Anthropic、Google 等主流 LLM API\n- 插件系统：核心逻辑封装在 proxyface-core 包中，便于集成到其他应用\n\n使用入门\n\nWeb 版本\n\nbash\ngit clone https://github.com/PacifAIst/Proxyface.git\ncd Proxyface\npnpm install\ncd apps/web && pnpm dev\n访问 http://localhost:5173\n\n\n桌面版本\n\n项目提供 Windows 安装包（.exe），可从 Releases 页面下载。由于尚未进行代码签名，Windows SmartScreen 可能会显示安全警告，选择"更多信息"→"仍要运行"即可。\n\n模型训练\n\n对于希望自定义情感模型的开发者，项目提供了 Google Colab 训练笔记本（proxyface_train.ipynb）。使用 T4 GPU 可在数小时内完成模型微调，支持上传自定义情感数据集进行领域适配。\n\n总结与展望\n\nProxyFace 代表了人机交互界面演进的一个重要方向：从纯文本对话向多模态、情感化体验的过渡。它证明了即使使用轻量级模型（4MB TinyBERT），也能实现令人印象深刻的实时情感反馈。\n\n项目的成功之处在于平衡了多个维度：本地隐私与云端能力、技术复杂性与用户体验、功能丰富与资源轻量。这种平衡使其不仅是一个有趣的实验，更是一个实用的日常工具。\n\n随着 LLM 能力的持续提升，用户对交互体验的期望也在水涨船高。ProxyFace 展示了一种可能性：AI 助手不仅可以提供信息，还可以提供陪伴、反馈和情感共鸣。这或许是人机协作进化的下一个前沿。\n\n