用大型语言模型抓取和解析意大利政治民调数据

一个结合Selenium网络爬虫与LLM文本解析的开源项目，自动将意大利官方选举民调网站的纯文本数据转换为结构化机器可读格式，并提供实时更新的JSONL和CSV数据集。

• 原作者/维护者：ruggsea
• 来源平台：github
• 原始标题：llm_italian_poll_scraper
• 原始链接：https://github.com/ruggsea/llm_italian_poll_scraper
• 来源发布时间/更新时间：2026-06-01T17:10:01Z

原作者与来源

• 原作者/维护者：ruggsea
• 来源平台：github
• 原始标题：llm_italian_poll_scraper
• 原始链接：https://github.com/ruggsea/llm_italian_poll_scraper
• 来源发布时间/更新时间：2026-06-01T17:10:01Z 原作者与来源\n\n- 原作者/维护者: Ruggero Marino Lazzaroni (@ruggsea)\n- 来源平台: GitHub\n- 原始标题: llm_italian_poll_scraper\n- 原始链接: https://github.com/ruggsea/llm_italian_poll_scraper\n- 发布时间: 2026年6月1日\n\n---\n\n项目背景与动机\n\n政治民调数据是理解选举动态和民意走向的重要资源，但这些数据往往以非结构化的文本形式散落在各个官方网站上。意大利官方选举民调网站sondaggipoliticoelettorali.it自2013年以来积累了大量民调数据，但这些数据以纯文本格式呈现，难以直接用于数据分析和机器学习应用。\n\n传统的手动数据录入方式效率低下且容易出错，而传统的网页爬虫只能提取HTML结构，无法智能解析文本内容中的复杂信息。这正是大型语言模型（LLM）可以发挥作用的场景——利用其强大的自然语言理解能力，自动从非结构化文本中提取结构化数据。\n\n---\n\n技术架构与实现原理\n\n该项目采用了一种混合式数据提取架构，结合了传统网络爬虫技术与现代LLM文本解析能力：\n\n第一阶段：数据采集\n\n项目使用Selenium浏览器自动化工具访问意大利官方民调网站，模拟真实用户行为以绕过可能的反爬虫机制。爬虫会遍历网站上的所有民调报告页面，抓取包含民调数据的文本内容。\n\n第二阶段：智能内容识别\n\n由于网站上的内容混杂着各类民调（地方选举、欧洲议会选举、公投等），系统首先通过字符串匹配算法筛选出与意大利全国选举意向相关的民调报告。这一预过滤步骤显著减少了后续LLM处理的负担。\n\n第三阶段：LLM驱动的数据提取\n\n核心创新在于使用OpenAI的大型语言模型解析筛选后的文本。LLM被训练用于识别和提取以下关键信息：\n\n- 民调机构名称\n- 调查日期范围\n- 样本规模\n- 各政党的支持率百分比\n- 误差范围\n\nLLM能够理解意大利语的政治术语和表达方式，即使不同民调报告使用略有差异的措辞，也能准确提取标准化数据。\n\n第四阶段：数据标准化与存储\n\n提取的数据被转换为统一的JSONL和CSV格式，便于后续分析使用。项目还实现了指数加权移动平均（EWMA）算法，计算各政党支持率的动态平均值并生成可视化图表。\n\n---\n\n数据覆盖范围与质量\n\n该项目的数据库涵盖了2013年至今的意大利主要政党民调数据，包括：\n\n- 意大利兄弟党 (Fratelli d'Italia)\n- 民主党 (Partito Democratico)\n- 五星运动 (Movimento 5 Stelle)\n- 意大利力量党 (Forza Italia)\n- 联盟党 (Lega)\n- 绿党左翼联盟 (Alleanza Verdi Sinistra)\n- 行动党 (Azione)\n- 意大利活力党 (Italia Viva)\n- 以及更多小型政党\n\n数据以JSONL和CSV两种格式每日自动更新，研究人员可以直接下载使用。对于需要更精细清洗后数据的用户，项目还与onData组织的italian_polls仓库联动，提供long格式的清洗数据。\n\n值得注意的是，作者坦诚地指出了数据质量的局限性：虽然近期民调数据准确度较高，但早期数据可能存在解析错误或遗漏。项目通过定期全量重新抓取和算法更新来持续改进数据质量。\n\n---\n\n应用场景与价值\n\n这个开源项目为多个领域的研究和应用提供了宝贵资源：\n\n政治科学研究: 学者可以分析意大利政党体系的演变、选民偏好的迁移模式，以及重大政治事件对民意的冲击。长期时间序列数据特别适合进行趋势分析和因果推断研究。\n\n数据新闻学: 记者和媒体分析师可以基于实时数据生成报道，追踪选举动态，验证政治叙事与民意现实之间的差距。项目提供的可视化图表可以直接嵌入新闻报道。\n\n预测建模: 数据科学家可以构建选举结果预测模型，测试不同的预测算法（如贝叶斯模型、时间序列预测、集成方法等）在历史数据上的表现。\n\n公民教育: 对意大利政治感兴趣的普通公民可以通过直观的数据可视化了解民意走向，形成更加基于事实的政治认知。\n\n---\n\n技术启示与方法论贡献\n\n该项目展示了一种可复制的模式，用于解决"半结构化数据"提取这一普遍问题。许多政府网站、档案库和历史文档都以类似的文本混杂格式存在，完全结构化的API往往不可用。\n\nLLM在此场景下的应用有几个显著优势：\n\n1. 适应性: 无需为每种文档格式编写特定的解析规则，LLM可以泛化到新的页面布局\n2. 容错性: 即使源数据存在拼写错误、格式不一致或部分损坏，LLM仍能理解上下文并提取正确信息\n3. 多语言支持: 单一模型可以处理多种语言的文档，无需为每种语言维护独立的解析器\n\n这种方法可以推广到其他领域：学术文献元数据提取、法律文档解析、医疗记录数字化、历史档案转录等。\n\n---\n\n项目使用与参与方式\n\n要使用该项目，用户需要具备Python环境，安装Selenium、OpenAI API客户端和BeautifulSoup4等依赖。项目提供了清晰的安装指南和命令行工具：\n\nbash\npip install -r requirements.txt\npython3 llm_poll_parser/archiving_polls.py\n\n\n抓取的数据默认存储在italian_polls.jsonl文件中，用户可以配置OpenAI API密钥以启用LLM解析功能。\n\n项目采用CC BY 4.0许可证开放数据，鼓励学术和商业使用，只需注明数据来源。作者欢迎社区贡献，包括建议新增追踪的政党、报告数据错误、改进解析算法等。\n\n---\n\n结语\n\nllm_italian_poll_scraper项目代表了开放数据运动与人工智能技术结合的一个典范。它不仅解决了具体的数据提取难题，更展示了一种新的数据解放方法论——用AI工具打破信息孤岛，让原本困在PDF和网页中的公共数据真正服务于公众。\n\n对于关注意大利政治的研究者、记者和数据爱好者来说，这是一个不可多得的资源。对于技术从业者而言，它提供了一个LLM实际应用的优秀案例，证明了大型语言模型在结构化数据提取任务中的实用价值。