MES：开源多模态嵌入服务，为文本和图像生成统一向量表示

一个基于CLIP模型的多模态嵌入服务，提供HTTP API接口，支持文本和图像的向量化，兼容OpenAI API格式，支持Docker部署和负载均衡。

MES（Multimodal Embedding Service）是一个开源的多模态嵌入服务，它基于CLIP模型为文本和图像生成高质量的向量表示。这个项目采用"vibecoding"方式开发，使用sentence-transformers库和clip-ViT-B-32模型，提供了一个简单易用的HTTP API接口。对于需要多模态检索、相似度计算或跨模态搜索的应用场景，MES提供了一个开箱即用的解决方案。

多模态嵌入（Multimodal Embedding）是人工智能领域的一个重要概念。它的核心思想是将不同模态的数据（如文本和图像）映射到同一个向量空间中，使得语义相似的内容在向量空间中也彼此接近。CLIP（Contrastive Language-Image Pre-training）模型是这一领域的突破性成果，它通过对比学习的方式，让模型理解文本和图像之间的语义关联。

例如，当你输入"一只猫坐在沙发上"这段文本，以及一张猫坐在沙发上的照片时，CLIP会为两者生成相似的向量表示。这种能力为许多应用打开了大门，比如以图搜文、以文搜图、图像标注、内容审核等。

MES支持对文本和图像分别生成嵌入向量：

• 文本嵌入：接收文本列表，返回每个文本的向量表示
• 图像嵌入：接收图像URL列表，下载图像后生成向量
• OpenAI兼容接口：提供与OpenAI Embeddings API兼容的端点，便于现有应用迁移

项目采用现代化的技术栈：

• FastAPI：高性能的Python Web框架，自动生成API文档
• sentence-transformers：简化的Transformer模型使用库
• clip-ViT-B-32：默认使用的CLIP模型，约600MB大小
• Docker容器化：支持Docker和Docker Compose部署
• Nginx负载均衡：支持多实例部署，自动分发请求

MES设计了一个智能的模型缓存机制。首次启动时会下载CLIP模型（约600MB），并将其存储在持久化卷中。后续的容器启动可以直接从缓存加载，大大缩短了启动时间。对于生产环境，建议先运行单实例版本填充缓存，再启动负载均衡版本。

POST /embed/text
Content-Type: application/json

{
  "texts": [
    "A photo of a cat sitting on a couch.",
    "The quick brown fox jumps over the lazy dog."
  ]
}

响应包含每个输入文本对应的嵌入向量，以及使用的模型名称。

POST /embed/image
Content-Type: application/json

{
  "image_urls": [
    "https://example.com/image1.jpg",
    "https://example.com/image2.png"
  ]
}

服务会自动下载指定URL的图像，并返回对应的嵌入向量。