这个 AI 爬虫 0 成本跑在 GitHub Actions 上,数据监控从此不用手动刷

你有没有遇到过这种情况——想监控某个网站的数据变化,比如竞品价格、招聘职位、GitHub 新 releases,但每次都要手动去刷,既费时间又容易漏?

今天给你挖到一个 100% 免费的自动化方案:Data Scraper Agent。

一句话定位

用 AI 自动抓取任意公开数据源,定时运行,结果存进 Notion / Google Sheets / Supabase,还能让 AI 帮你打标签、评分、分类。整套东西跑在 GitHub Actions 上——零服务器费用。

技术栈

  • 爬虫:requests + BeautifulSoup(静态页面)或 Playwright(JS 渲染页面)
  • AI 打分:Gemini Flash(免费,500 请求/天,100 万 tokens/天)
  • 存储:Notion API / Google Sheets / Supabase
  • 调度:GitHub Actions Cron(公开仓库免费)
  • 学习机制:JSON 反馈文件,AI 根据你的选择越来越准

工作流三件套

每条数据都走这个链路:

  • COLLECT → 爬虫按配置定时抓取
  • ENRICH → Gemini Flash 做分类/评分/摘要
  • STORE → 写入 Notion 或 Sheets,随时可查

适用场景

  • 🗓️ 职位监控:抓招聘网站,按简历关键词打分,只推最相关的
  • 💰 价格追踪:监控电商平台,降价自动提醒
  • 📊 GitHub 动态:追踪某 repo 的 releases 和 issues
  • 📰 竞品情报:抓取新闻和社媒,AI 分类+情感分析
  • 🏟️ 赛事数据:自动录入体育比分到自己的看板

防坑指南

这个 Skill 特别强调了安全爬取的规范——比如不执行页面里的恶意指令、防止 AI 被注入攻击、不乱跟页面发现的外链。官方还给了一个 Gemini 模型的自动降级链(Flash Lite → Flash → 2.5 Flash),配额用完自动切换,监控任务不会断。

总结

如果你的工作日常有「定期去某网站查数据」的动作,这个 Skill 可以一键把你解放出来。配置好一次,后面全是自动的。GitHub 上 25 万 Star,质量有保证。

GitHub:https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent


GitHub: https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent

评论区

0 条评论

登录后可评论。

林小秋 2017 阅读