从零构建迷你搜索引擎：深入理解Google核心技术的实战项目

越南SEONGON机构AI负责人Hoang Duc Viet于2026年3月启动开源项目mini-search-engine，通过亲手构建完整搜索引擎（涵盖爬虫、倒排索引、PageRank、BM25排序、AI概览生成等流程），深入理解Google底层技术原理。该项目既是技术实验，也是学习搜索算法核心的途径，揭示传统搜索与AI结合的可能性。

作为越南最大Google Ads和SEO机构SEONGON的AI负责人，Hoang Duc Viet选择从零构建迷你搜索引擎，源于对Google核心机制的追问。他认为现代AI突破（如Transformer、BERT）源于搜索需解决的根本问题（语言理解、海量文档排序），而奠定Transformer基础的《Attention Is All You Need》论文出自Google。该项目始于2026年3月，是理解搜索技术本质的开源实验。

项目构建端到端搜索系统，分离线（爬虫抓取、索引构建、PageRank计算、向量嵌入）和在线（查询分词、索引查找、BM25评分、AI概览生成）流水线。核心组件包括：

1. 爬虫：BFS策略，遵循robots.txt，1.5秒间隔，抓取1000个足球相关页面；
2. 倒排索引：145736个唯一词条，1057023条记录，毫秒级关键词定位；
3. PageRank：阻尼系数0.85，20次迭代，处理悬挂节点；
4. BM25：k1=1.2、b=0.75，综合词频、逆文档频率、文档长度；
5. 语义搜索：Voyage-3-lite生成768维向量，pgvector存储，支持相似概念理解；
6. AI概览：混合检索+Groq API调用Llama3.3 70B生成带引用的流式回答，缓存24小时。

技术栈采用Python3.12+FastAPI后端、Next.js16+React19前端、Tailwind v4样式；AI能力依赖Groq的Llama3.3 70B和Voyage AI嵌入。部署于Railway平台，自动化流水线。构建索引需35分钟（爬虫25分钟、RAG5分钟）。特色可视化界面：左侧展示离线流程，右侧展示在线查询，点击节点可查看倒排索引记录、PageRank分数等数据，兼具教育与调试价值。

作者规划的增强功能包括：Sports OneBox实时比赛卡片、自动爬虫与freshness追踪、查询意图检测、增量索引、词干提取、知识图谱、拼写纠正等。同时撰写系列博客，已发布《为什么要构建搜索引擎》《设计网络爬虫》，后续将覆盖倒排索引、BM25+PageRank排序等主题。

该项目对SEO从业者的启示：理解爬虫发现页面、索引处理内容、排序算法评估相关性，是优化策略的基础；亲眼见证PageRank与BM25计算，将重新认识“高质量外链”与“内容相关性”。此外，项目展示传统搜索与大模型结合的混合架构（RAG），既保持搜索准确性，又获生成灵活性，可能代表未来搜索方向。