NVIDIA Vision MCP：让纯文本AI模型"看见"图像的桥梁

一个基于Model Context Protocol (MCP)的服务器，通过NVIDIA NIM API调用微软Phi-4多模态模型，为文本型AI助手提供图像描述、OCR等视觉能力。

尽管多模态大模型正在快速发展，但许多优秀的AI助手和工具仍然基于纯文本架构。这些系统无法直接处理图像输入，限制了它们在需要视觉理解的场景中的应用。

Model Context Protocol (MCP) 是Anthropic提出的一种开放协议，旨在标准化AI模型与外部工具、数据源之间的交互方式。通过MCP，纯文本模型可以调用外部工具来扩展能力——包括"看见"图像。

NVIDIA Vision MCP是一个基于MCP协议的服务器，它利用NVIDIA NIM（NVIDIA Inference Microservices）平台上托管的微软Phi-4多模态指令模型，为文本型AI提供视觉理解能力。

该MCP服务器提供三个主要工具：

1. describe_image —— 本地图像描述

允许AI助手描述存储在本地文件系统的图像。

{
  "name": "describe_image",
  "arguments": {
    "file_path": "/path/to/image.png",
    "prompt": "详细描述这张图片"
  }
}

2. describe_image_url —— URL图像描述

支持从公共URL获取并描述图像。

{
  "name": "describe_image_url",
  "arguments": {
    "url": "https://example.com/image.png",
    "prompt": "图片中展示了什么？"
  }
}

3. extract_text —— OCR文本提取

从图像中提取可读的文本内容，保持阅读顺序。

{
  "name": "extract_text",
  "arguments": {
    "file_path": "/path/to/document.png"
  }
}

服务基于microsoft/phi-4-multimodal-instruct模型，通过NVIDIA NIM API提供推理服务。Phi-4是微软最新的小型多模态模型，在图像理解和文本生成方面表现出色。

• Bun：现代JavaScript运行时，提供出色的性能
• @modelcontextprotocol/sdk：MCP协议官方SDK
• Zod：用于输入验证的Schema定义库

• PNG
• JPEG/JPG
• GIF
• WebP
• BMP

注意：API支持最大约180KB的内联图像，较大图像会被自动拒绝。建议在使用前进行图像压缩。

访问 https://build.nvidia.com/ 注册并获取免费API密钥。