# Tech News Gatherer：为软件工程学生打造的AI驱动科技新闻聚合系统 > 一个全栈Python应用，通过RSS抓取、关键词过滤、Gemini AI摘要，帮助软件工程学生高效追踪AI领域最新动态。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-05-13T19:15:15.000Z - 最近活动: 2026-05-13T19:31:47.715Z - 热度: 163.7 - 关键词: FastAPI, RSS聚合, Gemini API, 科技新闻, AI摘要, MySQL, Python, 全栈开发, APScheduler, 学生项目 - 页面链接: https://www.zingnex.cn/forum/thread/tech-news-gatherer-ai - Canonical: https://www.zingnex.cn/forum/thread/tech-news-gatherer-ai - Markdown 来源: ingested_event --- # Tech News Gatherer：为软件工程学生打造的AI驱动科技新闻聚合系统 ## 信息过载时代的解决方案 对于软件工程专业的学生来说，每天追踪人工智能领域的最新动态是一项艰巨的挑战。技术博客、新闻网站、研究论文——信息源分散且更新频繁，手动浏览不仅耗时，而且容易遗漏重要内容。 Tech News Gatherer正是为了解决这一痛点而生。这是一个全栈Web应用，能够自动抓取、过滤、存储和总结最新的科技新闻文章，特别聚焦于人工智能领域。它由一位软件工程学生开发，使用Python、FastAPI、MySQL和Google Gemini API构建，展示了如何将现代Web开发技术与AI能力结合，解决实际问题。 ## 系统架构：模块化的全栈设计 Tech News Gatherer采用清晰的分层架构，每个模块职责明确： ### 后端核心：FastAPI驱动 应用的核心是FastAPI框架，这是一个现代、高性能的Python Web框架。FastAPI不仅提供了自动生成的交互式API文档（通过`/docs`端点访问），还支持基于依赖注入的请求级数据库连接管理，避免了共享连接状态带来的并发问题。 后端包含三个主要模块： - **main.py**：应用入口，负责路由、调度器和生命周期管理 - **fetcher.py**：RSS抓取、关键词过滤和趋势分析逻辑 - **db.py**：所有数据库操作，包括连接、插入、查询和清理 ### 数据持久化：MySQL与智能缓存 应用使用MySQL作为持久化存储，设计了三个核心数据表： **articles表**：存储文章标题、URL哈希（SHA-256用于去重）、原始链接、发布日期、摘要、来源和配图URL。URL哈希字段设置了唯一约束，确保同一文章不会被重复存储，即使它出现在多个RSS源中。 **summaries表**：存储AI生成的摘要内容和生成时间，支持历史摘要的回顾和比较。 此外，Redis用于缓存层，加速频繁访问的数据查询。 ### 前端体验：简洁而功能丰富 前端采用原生HTML、CSS和JavaScript构建，使用W3.CSS作为CSS框架。这种轻量级方案避免了重型前端框架的复杂性，同时提供了良好的视觉效果。 界面设计包含几个关键元素： - **顶部文章网格**：展示最新6篇文章的配图、标题和时间戳 - **分页文章卡片**：所有存储的文章以卡片形式展示，每页10条，支持完整分页 - **统计面板**：显示文章总数、最后抓取时间、最新抓取新增数量和热门话题摘要 - **AI摘要页面**：独立的摘要浏览界面，展示历史生成的AI总结 ## 核心功能：从抓取到智能总结 ### RSS自动抓取与智能过滤 应用从多个精选的科技RSS源抓取文章，包括TechCrunch AI、Wired AI、AI News和Hacker News。每2小时自动执行一次抓取任务，使用APScheduler在后台运行，无需人工干预。 抓取后的文章会经过关键词过滤，只保留包含「ai」「artificial intelligence」「startup」「machine learning」「llm」「software」等关键词的内容。这种过滤确保了存储的文章与目标读者的兴趣高度相关。 ### URL去重机制 一个常见问题是同一篇文章可能出现在多个RSS源中。Tech News Gatherer使用SHA-256对URL进行哈希处理，将哈希值作为唯一标识存储。即使同一文章从不同源被抓取，系统也能识别并跳过重复项。 ### 图片提取与回退策略 应用会解析RSS条目中的`media_content`和`media_thumbnail`字段，提取文章配图。对于没有提供图片的源，系统准备了按源分类的回退图片，确保每个文章卡片都有视觉呈现。 ### Gemini AI驱动的趋势总结 这是应用最具特色的功能。用户可以点击「生成AI摘要」按钮，系统会将最近10篇文章的标题和摘要发送给Google Gemini API。Gemini会返回一个结构化的Markdown简报，专门面向软件工程学生，解释每个趋势的意义、重要性以及可能的行动建议。 前端使用marked.js将Markdown响应渲染为格式化的HTML，保留标题、粗体、列表和分隔符等格式。这种设计让学生能够快速理解行业动态，而无需阅读大量原始文章。 ### 数据生命周期管理 应用包含自动清理机制：每周删除超过7天的文章，保持数据库精简。用户也可以手动触发清理操作。此外，每次服务器启动时会立即执行一次新鲜抓取，确保数据不会因为重启而陈旧。 ## 技术亮点：工程实践的体现 ### 异步任务调度 使用APScheduler实现后台任务调度，包括定时抓取和定期清理。这种设计确保了前端请求的响应性，不会因为后台任务而阻塞。 ### 安全设计 应用实现了多层安全机制： - JWT认证：保护API端点 - HTTPS加密：数据传输安全 - CORS配置：为未来的前端分离或移动访问做准备 - 环境变量管理：敏感信息（数据库密码、API密钥）存储在`.env`文件中，不提交到版本控制 ### 开发友好性 项目包含完整的开发文档，从环境搭建到部署选项。代码结构清晰，注释充分，README详细记录了每个端点的功能、数据库表结构和部署建议。 ## 部署选项与扩展性 应用设计为生产就绪，推荐部署选项包括： - **Render**：免费套餐支持Python Web服务，可连接GitHub仓库实现自动部署 - **Railway**：同时支持Python应用和MySQL，简化数据库连接配置 - **Fly.io**：提供更多控制，免费套餐 generous，适合需要持续运行的应用 对于数据库，可以搭配PlanetScale或Railway的云MySQL服务。 ## 学习价值：一个学生的成长项目 这个项目的特别之处在于它的学习背景。开发者是一位软件工程专业的学生，在项目过程中使用了Claude AI作为学习工具和开发伙伴。Claude帮助完成了项目规划、新概念学习、调试、代码审查和文档编写。 所有代码都经过开发者的审查、理解和有意整合。Claude扮演的角色类似于资深开发者或导师，提供解释和指导，而非替代对材料的理解。这种「AI辅助学习」的模式展示了现代AI工具如何赋能教育——不是取代学习，而是加速学习曲线。 ## 结语：实用主义的胜利 Tech News Gatherer不是一个追求技术炫技的项目，而是一个解决真实问题的实用工具。它展示了如何组合成熟的技术栈（FastAPI、MySQL、Redis）与现代AI能力（Gemini API），构建一个对学生群体真正有价值的应用。 对于正在学习软件工程的学生来说，这个项目也是一个很好的参考案例——从架构设计到代码组织，从功能实现到部署运维，涵盖了全栈开发的多个维度。更重要的是，它证明了即使是个人项目，也可以有专业的工程实践和用户体验设计。