search-parser：统一解析 Google、Bing、DuckDuckGo 搜索结果的 Python 工具

一款支持多搜索引擎的 HTML 解析库，可将搜索结果提取为结构化数据，支持 JSON、Markdown 和 Python 字典格式输出

search-parser 是一个专门用于解析主流搜索引擎 HTML 页面的 Python 包。它的设计理念非常清晰：提供统一的接口来处理 Google、Bing 和 DuckDuckGo 的搜索结果，自动识别搜索引擎类型，无需手动指定解析器。这种自动检测能力大大简化了开发流程，让开发者可以专注于数据本身，而不是纠结于不同平台的 HTML 差异。

这个工具的强大之处在于它对多种搜索结果类型的全面支持。对于 Google，它可以提取自然搜索结果、精选摘要（Featured Snippet）、赞助商广告、AI 概述（AI Overview）、相关问题（People Also Ask）、用户评论（What People Are Saying）、相关搜索、相关产品与服务、招聘信息、论坛讨论、购物广告以及新闻文章。Bing 支持自然搜索结果和精选摘要，DuckDuckGo 则支持自然搜索结果。这种差异化的支持反映了各搜索引擎本身的功能特点。

使用 search-parser 非常简单直观。首先通过 uv add search-parser 或 pip install search-parser 安装。然后在代码中导入 SearchParser 类，实例化后调用 parse 方法即可。

from search_parser import SearchParser

parser = SearchParser()
html = open("google_results.html").read()

# 输出 JSON 字符串
json_output = parser.parse(html)

# 输出 Markdown 格式，适合输入给大语言模型
md_output = parser.parse(html, output_format="markdown")

# 输出 Python 字典，便于程序化访问
data = parser.parse(html, output_format="dict")

当使用 dict 格式输出时，返回的数据结构包含了丰富的字段信息。results 列表包含所有自然搜索结果，每个结果都有 position、title、url、description 等字段。featured_snippet 字段存储精选摘要信息，ai_overview 包含 AI 生成的概述内容及其来源链接，people_also_ask 是一个问题列表，sponsored 包含广告信息，shopping_ads 存储购物广告数据，news 则包含新闻文章及其发布时间和来源。

此外，数据中还包含元信息字段：search_engine 标识检测到的搜索引擎，query 显示搜索关键词，total_results 显示结果总数，detection_confidence 表示检测置信度。这种结构化的设计让后续的数据处理变得非常方便。

search-parser 在多个场景下都能发挥重要作用。SEO 分析师可以用它来批量获取竞争对手的搜索表现数据；内容创作者可以监控特定关键词的搜索结果变化；研究人员可以构建搜索引擎结果的数据集用于学术研究；开发者可以将其集成到自动化工作流中，实现搜索数据的定时采集和分析。

项目采用了现代化的 Python 开发实践，使用 Ruff 进行代码格式化和检查，通过 GitHub Actions 实现自动化测试和代码覆盖率监控，并遵循 Apache 2.0 开源协议。代码结构清晰，API 设计简洁，文档示例丰富，这些都是高质量开源项目的标志。

search-parser 为搜索引擎结果解析提供了一个优雅的解决方案。它的自动检测机制消除了平台差异带来的复杂性，丰富的输出格式满足了不同场景的需求，全面的结果类型支持覆盖了主流搜索引擎的核心功能。对于需要处理搜索数据的开发者来说，这是一个值得关注的工具。未来如果能扩展到更多搜索引擎，并增加对动态加载内容的支持，其价值将进一步提升。