有个哥们被某个爬虫服务收16刀一个月,气得直接自己写了个开源的,扔到GitHub,现在五万一千星。
叫crawl4ai。
你把任何网址丢进去,它给你吐出来干净的Markdown,LLM直接开吃那种。不用key,不用注册,不按页算钱,跑起来比我用过的付费的还快。
我昨天试了一下,把几个需要付费才能抓取的网站丢进去,结果它真的把内容完整提取出来了,格式还特别干净。以前用那些付费爬虫服务,要么要API key,要么按页收费,要么限制频率。这个直接本地跑,想抓多少抓多少。
这事儿真正有意思的地方吧,不是技术多牛,而是——爬虫的门槛早就没了,还在收你月费的才是真暴利。
以前做数据采集,要么自己写爬虫,要么买服务。自己写要处理反爬、验证码、代理池,麻烦得要死。买服务又贵,一个月十几刀起步。现在有了这个工具,直接本地跑,速度还比付费的快。
我有个做市场调研的朋友,他每天要抓取几十个竞品网站的价格数据。以前用付费服务,一个月要花两百多刀。用了这个工具之后,直接本地跑,省下来的钱够吃一个月火锅了。
项目地址:github.com/unclecode/craw…
话题来源 @taozi0929
112K阅读 ❤️1806 x.com/…↗ 已改写,非原文转载
19 浏览 0 评论
0 反应












