基于GLM-4V-Flash/Gemini的多模态视频问答平台，融合CLIP视觉、Whisper音频、Sentence-BERT文本特征，实现毫秒级语义检索与自然语言视频问答。

多模态视频问答系统：用自然语言与视频对话的完整实现方案\n\n在信息爆炸的时代，视频已成为最重要的内容载体之一。然而，如何高效地从海量视频中提取信息、回答特定问题，一直是技术领域的难题。本文介绍一个开源的多模态视频问答系统，它通过融合视觉、音频、文本三种模态，让用户可以用自然语言与视频进行"对话"。\n\n## 项目概述\n\n这个项目是一个生产级的视频问答平台，基于多模态大模型（GLM-4V-Flash / Gemini），通过对视频进行多维度特征提取与向量化索引，实现用户以自然语言对视频内容进行精准问答。系统采用 FastAPI + Celery 异步架构，支持并发处理与生产级部署。\n\n### 核心能力\n\n- 多模态融合：同时理解视频的画面、声音和文字内容\n- 自然语言交互：像与人对话一样询问视频内容\n- 精准定位：不仅给出答案，还能指出相关时间片段和关键帧\n- 生产就绪：完整的监控、缓存、权限管理系统\n\n## 技术架构设计\n\n系统采用经典的分层架构，从下到上依次为数据存储层、任务处理层、应用服务层和接入层。\n\n### 整体架构流程\n\n\n用户请求\n │\n ▼\n┌─────────────────────────────────────────────┐\n│ Nginx（负载均衡） │\n└─────────────────────────────────────────────┘\n │\n ▼\n┌─────────────────────────────────────────────┐\n│ FastAPI 应用层 │\n│ /api/videos /api/qa /api/auth /metrics │\n└─────────────────────────────────────────────┘\n │ │\n ▼ ▼\n┌──────────────┐ ┌──────────────────────┐\n│ Celery 任务队列│ │ 问答处理流程 │\n│ 视频解码 │ │ 1. 问题向量化 │\n│ 特征提取 │ │ 2. FAISS 相似检索 │\n└──────────────┘ │ 3. 多模态 LLM 推理 │\n │ └──────────────────────┘\n ▼\n┌──────────────────────────────────────────────┐\n│ 数据存储层 │\n│ PostgreSQL（元数据） FAISS（向量） Redis（缓存）│\n└──────────────────────────────────────────────┘\n\n\n### 技术栈选型\n\n| 层次 | 技术 | 选型理由 |\n|------|------|---------|\n| Web 框架 | FastAPI + Uvicorn | 高性能异步框架，自动生成API文档 |\n| 任务队列 | Celery + Redis | 成熟稳定，支持复杂任务编排 |\n| 关系数据库 | PostgreSQL + SQLAlchemy | ACID保证，Alembic支持迁移 |\n| 向量数据库 | FAISS（IVF索引） | 毫秒级检索，支持余弦相似度 |\n| 缓存 | Redis | 热点问题缓存，降低LLM调用成本 |\n| 视频处理 | FFmpeg + OpenCV | 行业标准，支持多种格式 |\n| 视觉模型 | CLIP | 512维视觉特征，跨模态对齐 |\n| 音频模型 | Whisper | OpenAI开源，准确率高 |\n| 文本模型 | Sentence-BERT | 轻量高效，语义表征优秀 |\n| 多模态LLM | GLM-4V-Flash/Gemini | 国内直连/免费额度充足 |\n\n## 多模态特征提取详解\n\n系统的核心创新在于三路并行的特征提取与融合机制：\n\n### 1. 视觉特征提取（CLIP）\n\npython\n# 使用 openai/clip-vit-base-patch32\n视觉特征维度：512维\n提取方式：均匀采样关键帧，每帧提取CLIP embedding\n作用：理解画面内容、场景、物体、人物动作\n\n\n### 2. 音频特征提取（Whisper）\n\npython\n# 使用 openai/whisper-base\n处理方式：音频转录为文本，再提取文本特征\n额外收益：获得视频的字幕/语音内容文本化表示\n作用：理解对话、旁白、背景音乐中的语音信息\n\n\n### 3. 文本特征提取（Sentence-BERT）\n\npython\n# 使用 all-MiniLM-L6-v2\n输入来源：Whisper转录文本 + 视频元数据\n特征维度：384维\n作用：捕获语义信息，支持自然语言匹配\n\n\n### 特征融合策略\n\n三路特征经过对齐处理后，融合为统一的向量表示存储于FAISS。这种多模态融合的优势在于：\n\n- 互补性：视觉无法理解的声音信息由音频补充\n- 冗余性：同一信息在多个模态中出现，提高召回率\n- 语义对齐：CLIP的跨模态能力让视觉-文本对齐更精准\n\n## 问答处理流程\n\n当用户提出问题时，系统经历以下处理阶段：\n\n### 阶段一：问题向量化\n\n使用Sentence-BERT将自然语言问题编码为向量，这是后续语义检索的基础。\n\n### 阶段二：FAISS相似检索\n\npython\n# IVF索引 + 余弦相似度\n检索规模：支持百万级向量\n响应时间：< 100ms\n返回内容：Top-K相似片段及其时间戳\n\n\n### 阶段三：多模态LLM推理\n\n将检索到的片段（关键帧 + 相关文本）送入多模态大模型，生成最终答案。系统支持多种LLM后端：\n\n| 提供商 | 模型 | 特点 |\n|--------|------|------|\n| 智谱GLM（默认） | glm-4v-flash | 国内直连，免费额度充足 |\n| Google Gemini | gemini-pro-vision | 免费，60次/分钟 |\n| OpenAI | gpt-4-vision | 性能最强，需付费 |\n| Ollama | llava | 本地运行，无限制 |\n\n### 阶段四：答案组装\n\njson\n{\n \"answer\": \"视频中的主要人物正在进行产品演示...\",\n \"confidence\": 0.87,\n \"relevant_segments\": [\n {\"start\": 12.5, \"end\": 25.0, \"score\": 0.92}\n ],\n \"keyframes\": [\"frame_0015.jpg\"]\n}\n\n\n## 核心功能特性\n\n### 视频上传与处理\n\n- 格式支持：MP4、AVI、MOV、MKV、TS、M2TS\n- 大小限制：最大2GB\n- 异步处理：Celery后台任务，WebSocket实时推送进度\n- 处理速度：1分钟视频GPU处理<30秒\n\n### 智能问答\n\n- 自然语言查询：无需学习特定语法\n- 多轮对话：支持上下文连续问答\n- 答案溯源：返回相关时间片段和关键帧\n- 置信度评分：每个答案附带可信度指标\n\n### 性能优化\n\n- Redis缓存：热点问题TTL 1小时，降低LLM调用开销\n- FAISS索引：IVF索引支持百万向量毫秒级检索\n- 并发支持：100+并发问答\n- 目标可用性：99.9%\n\n## 部署与使用\n\n### 本地开发部署\n\nbash\n# 1. 克隆仓库\ngit clone https://github.com/GinnySHI/video-qa-multimodal.git\ncd video-qa-multimodal\n\n# 2. 创建虚拟环境\npython -m venv venv\nsource venv/bin/activate\n\n# 3. 安装依赖\npip install -r requirements.txt\n\n# 4. 配置环境变量\ncp .env.example .env\n# 编辑 .env，填入 API Key 和数据库信息\n\n# 5. 初始化数据库\nalembic upgrade head\n\n# 6. 启动应用\nuvicorn src.main:app --reload --host 0.0.0.0 --port 8000\n\n# 7. 启动 Celery Worker\ncelery -A src.celery_app worker --loglevel=info\n\n\n### Docker一键部署\n\nbash\n# 配置环境变量\ncp .env.example .env\n# 编辑 .env 填入必要的 API Key\n\n# 一键启动所有服务\ndocker-compose up -d\n\n# 查看服务状态\ndocker-compose ps\n\n\n### Kubernetes生产部署\n\n项目提供了完整的K8s部署配置：\n\nbash\nkubectl apply -f k8s/deployment.yaml\n\n\n包含服务发现、水平扩缩容、健康检查、资源限制等生产级配置。\n\n## 应用场景\n\n这个系统可以应用于多种场景：\n\n### 1. 企业培训视频库\n\n员工可以用自然语言查询培训视频内容，如"查找关于安全规范的讲解片段"。\n\n### 2. 媒体内容管理\n\n新闻机构可以快速检索海量视频素材，定位特定事件的相关画面。\n\n### 3. 教育平台\n\n学生可以针对课程视频提问，系统返回答案和相关讲解片段。\n\n### 4. 监控分析\n\n对监控视频进行语义索引，支持"查找有人进入仓库的片段"这类查询。\n\n## 项目亮点总结\n\n1. 完整的多模态Pipeline：从视频解码到特征提取再到问答生成，端到端闭环\n2. 生产级架构：异步任务、缓存、监控、权限管理一应俱全\n3. 灵活的LLM后端：支持云端API和本地部署，适应不同场景\n4. 详细的文档：API文档、部署指南、测试指南、故障排查全覆盖\n5. 开源免费：MIT协议，可自由商用\n\n## 性能指标\n\n| 指标 | 目标值 |\n|------|--------|\n| 视频处理（1分钟视频，GPU） | < 30秒 |\n| 向量检索（100万向量） | < 100ms |\n| 答案生成（P95） | < 5秒 |\n| 并发问答支持 | 100+ |\n| API可用性 | 99.9% |\n| 缓存命中率 | > 30% |\n\n---\n\n项目链接：https://github.com/GinnySHI/video-qa-multimodal\n\n对于希望构建视频理解应用的开发者来说，这个项目提供了一个完整的参考实现。无论是想快速搭建原型，还是构建生产级服务，都能从中获得有价值的参考。

多模态视频问答系统：用自然语言与视频对话的完整实现方案\n\n在信息爆炸的时代，视频已成为最重要的内容载体之一。然而，如何高效地从海量视频中提取信息、回答特定问题，一直是技术领域的难题。本文介绍一个开源的多模态视频问答系统，它通过融合视觉、音频、文本三种模态，让用户可以用自然语言与视频进行"对话"。\n\n项目概述\n\n这个项目是一个生产级的视频问答平台，基于多模态大模型（GLM-4V-Flash / Gemini），通过对视频进行多维度特征提取与向量化索引，实现用户以自然语言对视频内容进行精准问答。系统采用 FastAPI + Celery 异步架构，支持并发处理与生产级部署。\n\n核心能力\n\n- 多模态融合：同时理解视频的画面、声音和文字内容\n- 自然语言交互：像与人对话一样询问视频内容\n- 精准定位：不仅给出答案，还能指出相关时间片段和关键帧\n- 生产就绪：完整的监控、缓存、权限管理系统\n\n技术架构设计\n\n系统采用经典的分层架构，从下到上依次为数据存储层、任务处理层、应用服务层和接入层。\n\n整体架构流程\n\n\n用户请求\n │\n ▼\n┌─────────────────────────────────────────────┐\n│ Nginx（负载均衡） │\n└─────────────────────────────────────────────┘\n │\n ▼\n┌─────────────────────────────────────────────┐\n│ FastAPI 应用层 │\n│ /api/videos /api/qa /api/auth /metrics │\n└─────────────────────────────────────────────┘\n │ │\n ▼ ▼\n┌──────────────┐ ┌──────────────────────┐\n│ Celery 任务队列│ │ 问答处理流程 │\n│ 视频解码 │ │ 1. 问题向量化 │\n│ 特征提取 │ │ 2. FAISS 相似检索 │\n└──────────────┘ │ 3. 多模态 LLM 推理 │\n │ └──────────────────────┘\n ▼\n┌──────────────────────────────────────────────┐\n│ 数据存储层 │\n│ PostgreSQL（元数据） FAISS（向量） Redis（缓存）│\n└──────────────────────────────────────────────┘\n\n\n技术栈选型\n\n| 层次 | 技术 | 选型理由 |\n|------|------|---------|\n| Web 框架 | FastAPI + Uvicorn | 高性能异步框架，自动生成API文档 |\n| 任务队列 | Celery + Redis | 成熟稳定，支持复杂任务编排 |\n| 关系数据库 | PostgreSQL + SQLAlchemy | ACID保证，Alembic支持迁移 |\n| 向量数据库 | FAISS（IVF索引） | 毫秒级检索，支持余弦相似度 |\n| 缓存 | Redis | 热点问题缓存，降低LLM调用成本 |\n| 视频处理 | FFmpeg + OpenCV | 行业标准，支持多种格式 |\n| 视觉模型 | CLIP | 512维视觉特征，跨模态对齐 |\n| 音频模型 | Whisper | OpenAI开源，准确率高 |\n| 文本模型 | Sentence-BERT | 轻量高效，语义表征优秀 |\n| 多模态LLM | GLM-4V-Flash/Gemini | 国内直连/免费额度充足 |\n\n多模态特征提取详解\n\n系统的核心创新在于三路并行的特征提取与融合机制：\n\n1. 视觉特征提取（CLIP）\n\npython\n使用 openai/clip-vit-base-patch32\n视觉特征维度：512维\n提取方式：均匀采样关键帧，每帧提取CLIP embedding\n作用：理解画面内容、场景、物体、人物动作\n\n\n2. 音频特征提取（Whisper）\n\npython\n使用 openai/whisper-base\n处理方式：音频转录为文本，再提取文本特征\n额外收益：获得视频的字幕/语音内容文本化表示\n作用：理解对话、旁白、背景音乐中的语音信息\n\n\n3. 文本特征提取（Sentence-BERT）\n\npython\n使用 all-MiniLM-L6-v2\n输入来源：Whisper转录文本 + 视频元数据\n特征维度：384维\n作用：捕获语义信息，支持自然语言匹配\n\n\n特征融合策略\n\n三路特征经过对齐处理后，融合为统一的向量表示存储于FAISS。这种多模态融合的优势在于：\n\n- 互补性：视觉无法理解的声音信息由音频补充\n- 冗余性：同一信息在多个模态中出现，提高召回率\n- 语义对齐：CLIP的跨模态能力让视觉-文本对齐更精准\n\n问答处理流程\n\n当用户提出问题时，系统经历以下处理阶段：\n\n阶段一：问题向量化\n\n使用Sentence-BERT将自然语言问题编码为向量，这是后续语义检索的基础。\n\n阶段二：FAISS相似检索\n\npython\nIVF索引 + 余弦相似度\n检索规模：支持百万级向量\n响应时间：< 100ms\n返回内容：Top-K相似片段及其时间戳\n\n\n阶段三：多模态LLM推理\n\n将检索到的片段（关键帧 + 相关文本）送入多模态大模型，生成最终答案。系统支持多种LLM后端：\n\n| 提供商 | 模型 | 特点 |\n|--------|------|------|\n| 智谱GLM（默认） | glm-4v-flash | 国内直连，免费额度充足 |\n| Google Gemini | gemini-pro-vision | 免费，60次/分钟 |\n| OpenAI | gpt-4-vision | 性能最强，需付费 |\n| Ollama | llava | 本地运行，无限制 |\n\n阶段四：答案组装\n\njson\n{\n \"answer\": \"视频中的主要人物正在进行产品演示...\",\n \"confidence\": 0.87,\n \"relevant_segments\": [\n {\"start\": 12.5, \"end\": 25.0, \"score\": 0.92}\n ],\n \"keyframes\": [\"frame_0015.jpg\"]\n}\n\n\n核心功能特性\n\n视频上传与处理\n\n- 格式支持：MP4、AVI、MOV、MKV、TS、M2TS\n- 大小限制：最大2GB\n- 异步处理：Celery后台任务，WebSocket实时推送进度\n- 处理速度：1分钟视频GPU处理<30秒\n\n智能问答\n\n- 自然语言查询：无需学习特定语法\n- 多轮对话：支持上下文连续问答\n- 答案溯源：返回相关时间片段和关键帧\n- 置信度评分：每个答案附带可信度指标\n\n性能优化\n\n- Redis缓存：热点问题TTL 1小时，降低LLM调用开销\n- FAISS索引：IVF索引支持百万向量毫秒级检索\n- 并发支持：100+并发问答\n- 目标可用性：99.9%\n\n部署与使用\n\n本地开发部署\n\nbash\n1. 克隆仓库\ngit clone https://github.com/GinnySHI/video-qa-multimodal.git\ncd video-qa-multimodal\n\n2. 创建虚拟环境\npython -m venv venv\nsource venv/bin/activate\n\n3. 安装依赖\npip install -r requirements.txt\n\n4. 配置环境变量\ncp .env.example .env\n编辑 .env，填入 API Key 和数据库信息\n\n5. 初始化数据库\nalembic upgrade head\n\n6. 启动应用\nuvicorn src.main:app --reload --host 0.0.0.0 --port 8000\n\n7. 启动 Celery Worker\ncelery -A src.celery_app worker --loglevel=info\n\n\nDocker一键部署\n\nbash\n配置环境变量\ncp .env.example .env\n编辑 .env 填入必要的 API Key\n\n一键启动所有服务\ndocker-compose up -d\n\n查看服务状态\ndocker-compose ps\n\n\nKubernetes生产部署\n\n项目提供了完整的K8s部署配置：\n\nbash\nkubectl apply -f k8s/deployment.yaml\n\n\n包含服务发现、水平扩缩容、健康检查、资源限制等生产级配置。\n\n应用场景\n\n这个系统可以应用于多种场景：\n\n1. 企业培训视频库\n\n员工可以用自然语言查询培训视频内容，如"查找关于安全规范的讲解片段"。\n\n2. 媒体内容管理\n\n新闻机构可以快速检索海量视频素材，定位特定事件的相关画面。\n\n3. 教育平台\n\n学生可以针对课程视频提问，系统返回答案和相关讲解片段。\n\n4. 监控分析\n\n对监控视频进行语义索引，支持"查找有人进入仓库的片段"这类查询。\n\n项目亮点总结\n\n1. 完整的多模态Pipeline：从视频解码到特征提取再到问答生成，端到端闭环\n2. 生产级架构：异步任务、缓存、监控、权限管理一应俱全\n3. 灵活的LLM后端：支持云端API和本地部署，适应不同场景\n4. 详细的文档：API文档、部署指南、测试指南、故障排查全覆盖\n5. 开源免费：MIT协议，可自由商用\n\n性能指标\n\n| 指标 | 目标值 |\n|------|--------|\n| 视频处理（1分钟视频，GPU） | < 30秒 |\n| 向量检索（100万向量） | < 100ms |\n| 答案生成（P95） | < 5秒 |\n| 并发问答支持 | 100+ |\n| API可用性 | 99.9% |\n| 缓存命中率 | > 30% |\n\n---\n\n项目链接：https://github.com/GinnySHI/video-qa-multimodal\n\n对于希望构建视频理解应用的开发者来说，这个项目提供了一个完整的参考实现。无论是想快速搭建原型，还是构建生产级服务，都能从中获得有价值的参考。