你还在手动刷数据？这个 AI Agent 让采集全自动化了

你有没有过这种感觉——每天要刷好几个网站，把数据一条条复制到表格里，整个人都麻了？招聘数据、价格动态、竞品新闻……手动重复，毫无成长。

今天推荐一个让我眼前一亮的 Skill——data-scraper-agent。它不是一个普通的爬虫脚本，而是一套「让 AI 自动帮你收集任意公开数据」的完整解决方案。

它能做什么？

简单说：你在 config.yaml 里写好想监控的数据源，它就会按设定的时间频率，自动抓取数据 → 用免费 LLM（Gemini Flash）做清洗分类 → 存进 Notion / Google Sheets / Supabase。

支持的数据源五花八门：

• 招聘网站 → 按简历关键词打分
• 电商价格 → 降价时自动提醒
• GitHub 仓库 → 追踪新版本发布
• 新闻资讯 → 按主题和情感分类
• 体育赛事 → 提取统计数据
• 任意公开网站 / API / RSS

怎么跑起来？

不需要自己的服务器——用 GitHub Actions 免费定时跑，零成本纯自动化。Stack 全程免费：Python + Gemini Flash（免费 LLM，每天 500 次请求）+ GitHub Actions（免费调度）+ Notion（免费存储层）。

整个项目结构非常清晰：

• config.yaml — 配置文件，改这里就能换数据源
• scraper/ — 爬虫层，支持 REST API / HTML / RSS
• ai/ — Gemini Flash 批量分析，自动 fallback 模型防配额耗尽
• storage/ — 同步到 Notion / Sheets / Supabase
• data/feedback.json — 用户反馈记录，AI 越学越准

为什么值得用？

三个字：免费 + 自动 + 智能。

不花一分钱，不需要租服务器，配置一次就永久自动跑。而且 AI 会根据你的反馈（哪些数据有用、哪些没用）不断优化，越用越懂你。

举个例子：监控 GitHub Trending 每天自动推送你感兴趣领域的优质项目；或者设置房价监控，跌到心理价位时直接发通知。整个过程不用手动刷新任何页面。

GitHub 链接

仓库在这里：https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent

Stars 23.3 万，Forks 3.5 万，更新频率也很活跃。不管你是运营、产品还是开发者，只要跟公开数据打交道，这个 Skill 都值得一试。

GitHub: https://github.com/affaan-m/ECC/tree/main/skills/data-scraper-agent