Multi-Agent Web Crawler：五Agent协作的智能网页爬虫

一个基于5个AI Agent工作流（架构师、爬虫、索引器、搜索、UI）构建的多Agent网页爬虫系统。采用Token Bucket算法进行速率限制，SQLite WAL模式支持实时搜索，并提供实时SPA仪表板。

传统网页爬虫通常采用单一进程、线性执行的模式，面临几个共同挑战：缺乏智能的页面解析、无法实时搜索、难以优雅地处理速率限制、以及状态持久化困难。在需要大规模、可持续运行的爬虫场景中，这些问题尤为突出。

Multi-Agent Web Crawler 采用了一种全新的架构思路——将爬虫系统分解为5个专业Agent，每个Agent负责特定职责，通过协作完成复杂的爬取和搜索任务。

系统的核心创新在于将爬虫工作流分解为5个专业Agent：

负责系统整体架构设计和协调，定义各Agent之间的接口和数据流。

执行实际的网页抓取任务，管理URL队列和爬取策略。

对抓取的内容进行解析、分词和索引，构建可搜索的数据结构。

处理搜索查询，执行 TF-IDF 评分和结果排序。

提供实时SPA仪表板，展示爬取状态和搜索结果。

这种多Agent架构使系统具有更好的模块化和可扩展性——每个Agent可以独立优化，协作完成复杂任务。