Aiyer是一个轻量级Python库，通过Pydantic模型定义输出结构，让LLM对图像进行标准化分析。支持Ollama和Groq等多提供商，提供三种分析策略（Zero/Lite/Medium）以平衡速度与质量，适用于库存管理、门禁控制、停车场管理等场景。

Aiyer：基于LLM的结构化图像分析Python库\n\n## 项目背景与核心定位\n\n在计算机视觉领域，传统的图像分析通常依赖预训练的CNN或Transformer模型，这些模型虽然在特定任务上表现出色，但输出格式往往难以与业务系统直接对接。Aiyer项目另辟蹊径，利用大型语言模型（LLM）的视觉理解能力，通过结构化输出协议，将图像分析结果转化为可直接消费的类型化数据。\n\nAiyer是一个轻量级的Python库，专为需要标准化图像分析输出的应用场景设计。它支持库存管理、人员追踪、厨房监控、门禁控制和停车场管理等典型场景。项目的核心创新在于将Pydantic模型作为输出契约，让开发者能够精确定义期望从图像中提取的信息结构。\n\n## 技术架构与设计理念\n\n### 基于Pydantic的强类型输出\n\nAiyer的核心设计理念是"类型即契约"。开发者通过定义Pydantic模型来描述期望的输出结构，库会自动生成智能示例来引导LLM产生符合预期的响应。例如：\n\npython\nclass SceneAnalysis(BaseModel):\n summary: str = Field(description="场景总体描述")\n objects: List[str] = Field(description="检测到的物体列表")\n environment: Optional[str] = Field(description="环境类型")\n danger_level: Literal[\"low\", \"medium\", \"high\"] = Field(description="危险等级")\n\n\n这种设计带来了几个显著优势：首先，输出结果天然具备类型安全，IDE可以提供自动补全和类型检查；其次，模型定义本身成为文档，降低了团队协作成本；最后，Aiyer会自动生成格式化的示例提示词，无需开发者手动编写复杂的few-shot示例。\n\n### 多提供商适配器架构\n\nAiyer采用适配器模式支持不同的LLM提供商。目前官方提供Ollama（本地部署）和Groq（云端API）两种适配器，并开放了ILLModel接口供社区扩展。这种设计使得应用可以在本地开发和生产部署之间无缝切换，也为成本控制提供了灵活性。\n\n## 三级分析策略：速度与质量的权衡\n\nAiyer提供了三种分析策略，分别对应不同的速度-质量权衡：\n\nAiyerZero是最快模式，在发送前将图像缩放至384px，适合需要实时响应的场景，如快速分类或初步筛选。\n\nAiyerLite是推荐的标准模式，单次LLM调用，保持完整分辨率，在大多数场景下提供了最佳的成本效益比。\n\nAiyerMedium追求最高质量，采用两次LLM调用——第一次进行分析，第二次对输出进行审查和丰富。虽然速度较慢，但在需要高准确度的场景中值得使用。\n\n## 实际应用场景展示\n\n项目文档提供了一个库存管理的典型示例。当分析一张货架照片时，Aiyer可以输出结构化的库存状态报告：\n\n\n总体库存：🔴 紧急\n- 饼干：库存不足\n- 罐头食品：缺货\n- 洗漱用品：缺货\n- 烘焙原料：缺货\n- 零食：库存偏低\n\n建议：\n- 立即补货所有货架\n- 优先补充罐头食品和洗漱用品\n- 订购紧急必需品\n\n\n这种结构化输出可以直接对接库存管理系统，触发自动补货流程，无需人工介入。\n\n## 对话式分析能力\n\n除了单次分析，Aiyer还支持view_chat模式，允许开发者通过链式调用逐步引导分析方向。例如，可以先要求模型"关注图像中心的门禁"，然后追问"它是开着还是关着"。这种交互模式特别适合需要多轮确认的场景，如安全监控中的异常检测。\n\n## 技术实现细节\n\n每个分析调用返回VisionResponse[T]泛型结构，其中T是开发者定义的Pydantic模型类型。这种设计确保了类型安全的同时，保留了原始图像字节供后续处理使用。\n\n库内部实现了智能示例生成器，能够自动从Pydantic模型的字段定义中提取类型信息、约束条件和描述文本，构建出引导LLM产生结构化输出的提示词。这大大降低了开发者的心智负担。\n\n## 适用场景与选型建议\n\nAiyer特别适合以下场景：\n\n- 物联网边缘分析：配合Ollama本地部署，可在无网络环境下运行\n- 快速原型开发：Pydantic模型定义即文档，加速迭代\n- 多模态数据流水线：结构化输出便于下游系统消费\n- 成本敏感型应用：可根据需求灵活切换提供商和分析策略\n\n对于需要像素级精度的任务（如医学影像分析），传统CV模型仍是更优选择。但对于语义理解、场景描述、内容分类等任务，Aiyer提供了一种更灵活、更易集成的解决方案。\n\n## 总结与展望\n\nAiyer代表了LLM视觉应用的一种新范式：不再追求端到端的通用视觉能力，而是通过结构化契约将LLM的开放理解能力锚定到具体业务场景。随着多模态模型的普及和成本下降，这种模式有望在更多垂直领域得到应用。项目的适配器架构也为未来接入更多模型提供商预留了空间。

Aiyer：基于LLM的结构化图像分析Python库\n\n项目背景与核心定位\n\n在计算机视觉领域，传统的图像分析通常依赖预训练的CNN或Transformer模型，这些模型虽然在特定任务上表现出色，但输出格式往往难以与业务系统直接对接。Aiyer项目另辟蹊径，利用大型语言模型（LLM）的视觉理解能力，通过结构化输出协议，将图像分析结果转化为可直接消费的类型化数据。\n\nAiyer是一个轻量级的Python库，专为需要标准化图像分析输出的应用场景设计。它支持库存管理、人员追踪、厨房监控、门禁控制和停车场管理等典型场景。项目的核心创新在于将Pydantic模型作为输出契约，让开发者能够精确定义期望从图像中提取的信息结构。\n\n技术架构与设计理念\n\n基于Pydantic的强类型输出\n\nAiyer的核心设计理念是"类型即契约"。开发者通过定义Pydantic模型来描述期望的输出结构，库会自动生成智能示例来引导LLM产生符合预期的响应。例如：\n\npython\nclass SceneAnalysis(BaseModel):\n summary: str = Field(description="场景总体描述")\n objects: List[str] = Field(description="检测到的物体列表")\n environment: Optional[str] = Field(description="环境类型")\n danger_level: Literal[\"low\", \"medium\", \"high\"] = Field(description="危险等级")\n\n\n这种设计带来了几个显著优势：首先，输出结果天然具备类型安全，IDE可以提供自动补全和类型检查；其次，模型定义本身成为文档，降低了团队协作成本；最后，Aiyer会自动生成格式化的示例提示词，无需开发者手动编写复杂的few-shot示例。\n\n多提供商适配器架构\n\nAiyer采用适配器模式支持不同的LLM提供商。目前官方提供Ollama（本地部署）和Groq（云端API）两种适配器，并开放了ILLModel接口供社区扩展。这种设计使得应用可以在本地开发和生产部署之间无缝切换，也为成本控制提供了灵活性。\n\n三级分析策略：速度与质量的权衡\n\nAiyer提供了三种分析策略，分别对应不同的速度-质量权衡：\n\nAiyerZero是最快模式，在发送前将图像缩放至384px，适合需要实时响应的场景，如快速分类或初步筛选。\n\nAiyerLite是推荐的标准模式，单次LLM调用，保持完整分辨率，在大多数场景下提供了最佳的成本效益比。\n\nAiyerMedium追求最高质量，采用两次LLM调用——第一次进行分析，第二次对输出进行审查和丰富。虽然速度较慢，但在需要高准确度的场景中值得使用。\n\n实际应用场景展示\n\n项目文档提供了一个库存管理的典型示例。当分析一张货架照片时，Aiyer可以输出结构化的库存状态报告：\n\n\n总体库存：🔴 紧急\n- 饼干：库存不足\n- 罐头食品：缺货\n- 洗漱用品：缺货\n- 烘焙原料：缺货\n- 零食：库存偏低\n\n建议：\n- 立即补货所有货架\n- 优先补充罐头食品和洗漱用品\n- 订购紧急必需品\n\n\n这种结构化输出可以直接对接库存管理系统，触发自动补货流程，无需人工介入。\n\n对话式分析能力\n\n除了单次分析，Aiyer还支持view_chat模式，允许开发者通过链式调用逐步引导分析方向。例如，可以先要求模型"关注图像中心的门禁"，然后追问"它是开着还是关着"。这种交互模式特别适合需要多轮确认的场景，如安全监控中的异常检测。\n\n技术实现细节\n\n每个分析调用返回VisionResponse[T]泛型结构，其中T是开发者定义的Pydantic模型类型。这种设计确保了类型安全的同时，保留了原始图像字节供后续处理使用。\n\n库内部实现了智能示例生成器，能够自动从Pydantic模型的字段定义中提取类型信息、约束条件和描述文本，构建出引导LLM产生结构化输出的提示词。这大大降低了开发者的心智负担。\n\n适用场景与选型建议\n\nAiyer特别适合以下场景：\n\n- 物联网边缘分析：配合Ollama本地部署，可在无网络环境下运行\n- 快速原型开发：Pydantic模型定义即文档，加速迭代\n- 多模态数据流水线：结构化输出便于下游系统消费\n- 成本敏感型应用：可根据需求灵活切换提供商和分析策略\n\n对于需要像素级精度的任务（如医学影像分析），传统CV模型仍是更优选择。但对于语义理解、场景描述、内容分类等任务，Aiyer提供了一种更灵活、更易集成的解决方案。\n\n总结与展望\n\nAiyer代表了LLM视觉应用的一种新范式：不再追求端到端的通用视觉能力，而是通过结构化契约将LLM的开放理解能力锚定到具体业务场景。随着多模态模型的普及和成本下降，这种模式有望在更多垂直领域得到应用。项目的适配器架构也为未来接入更多模型提供商预留了空间。