GenCELLAgent：无需训练的多智能体细胞图像分割系统

一个基于大语言模型的多智能体协作框架，实现零样本细胞图像分割，支持多种显微成像模态和细胞器类型，无需针对特定数据集重新训练模型。

• 原作者/维护者： yuxi120407
• 来源平台： GitHub
• 原始标题： GenCELLAgent: Generalizable, Training-Free Cellular Image Segmentation via Collaborative and Self-Evolving Large Language Model Agents
• 原始链接： https://github.com/yuxi120407/GenCELLAgent
• 发布时间： 2025年10月（最近更新：2026年5月30日）

在细胞生物学研究中，研究人员经常需要处理来自不同实验条件、成像设备和染色方法的图像数据。传统深度学习分割模型（如 Cellpose、SAM 等）虽然在特定数据集上表现优异，但面对新的成像模态或细胞类型时，往往需要重新收集标注数据并进行模型微调。

GenCELLAgent 的核心洞察是：大语言模型具备强大的推理和规划能力，可以协调多个专业分割工具，根据图像特征动态选择最优策略。这种方法摆脱了对训练数据的依赖，实现了真正的零样本泛化。

GenCELLAgent 采用模块化的多智能体架构，包含三个核心组件协同工作：

规划智能体基于 Google Gemini 大语言模型，负责分析输入图像的特征和用户的自然语言指令。它会根据图像风格（相位对比、荧光、共聚焦、电镜、组织切片等）和目标任务，制定分割策略并选择合适的工作流。

执行智能体负责调用具体的分割工具。系统集成了多种专业模型：

• Cellpose：针对细胞形态优化的分割模型
• micro-SAM / CellSAM：基于 SAM 的显微图像适配版本
• SAM3：最新的分割一切模型
• SegGPT：支持参考图像引导的一次性分割

执行智能体根据规划智能体的决策，自动选择并运行最适合当前任务的工具。

评估智能体使用基于视觉语言模型（VLM）的质量评分机制，对分割结果进行迭代优化。它会检查分割边界的准确性、细胞完整性等指标，并将反馈传递给规划智能体进行策略调整。

不同于单一模型的固定行为，GenCELLAgent 将多个领域专用模型和通用模型整合在一个协作框架中。系统根据图像特征动态路由任务，在不同模型之间实现优势互补。