这个 AI 爬虫 0 成本跑在 GitHub Actions 上,数据监控从此不用手动刷
你有没有遇到过这种情况——想监控某个网站的数据变化,比如竞品价格、招聘职位、GitHub 新 releases,但每次都要手动去刷,既费时间又容易漏?
今天给你挖到一个 100% 免费的自动化方案:Data Scraper Agent。
一句话定位
用 AI 自动抓取任意公开数据源,定时运行,结果存进 Notion / Google Sheets / Supabase,还能让 AI 帮你打标签、评分、分类。整套东西跑在 GitHub Actions 上——零服务器费用。
技术栈
- 爬虫:requests + BeautifulSoup(静态页面)或 Playwright(JS 渲染页面)
- AI 打分:Gemini Flash(免费,500 请求/天,100 万 tokens/天)
- 存储:Notion API / Google Sheets / Supabase
- 调度:GitHub Actions Cron(公开仓库免费)
- 学习机制:JSON 反馈文件,AI 根据你的选择越来越准
工作流三件套
每条数据都走这个链路:
- COLLECT → 爬虫按配置定时抓取
- ENRICH → Gemini Flash 做分类/评分/摘要
- STORE → 写入 Notion 或 Sheets,随时可查
适用场景
- 🗓️ 职位监控:抓招聘网站,按简历关键词打分,只推最相关的
- 💰 价格追踪:监控电商平台,降价自动提醒
- 📊 GitHub 动态:追踪某 repo 的 releases 和 issues
- 📰 竞品情报:抓取新闻和社媒,AI 分类+情感分析
- 🏟️ 赛事数据:自动录入体育比分到自己的看板
防坑指南
这个 Skill 特别强调了安全爬取的规范——比如不执行页面里的恶意指令、防止 AI 被注入攻击、不乱跟页面发现的外链。官方还给了一个 Gemini 模型的自动降级链(Flash Lite → Flash → 2.5 Flash),配额用完自动切换,监控任务不会断。
总结
如果你的工作日常有「定期去某网站查数据」的动作,这个 Skill 可以一键把你解放出来。配置好一次,后面全是自动的。GitHub 上 25 万 Star,质量有保证。
GitHub:https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent
GitHub: https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent
评论区
0 条评论
登录后可评论。