让AI真正能”看懂”网页：AgentQL用自然语言Query精准爬数据

你们有没有发现，现在 AI 爬虫工具一抓网页就碰壁——反爬、JS 渲染、验证码三连击。传统爬虫规则三天两头失效，AI 助手根本没法稳定地从网页里拿到数据。

最近挖到一个很有意思的项目，叫 AgentQL，来自独立工作室 TinyFish，专门解决这个痛点。它干的事情一句话概括：用自然语言 Query 精准定位网页元素，让 AI 爬虫真正能”看懂”页面结构，而不是靠死板的 XPath 规则硬找。

举个例子，你想抓某电商网站的商品价格，传统的做法是写一个 CSS Selector 或者 XPath，但网站一改版就废了。AgentQL 的思路完全不一样——你直接写自然语言，比如”获取所有商品卡片里的价格和名称”，它会基于 AI 理解页面语义来找对应元素，而且跨相似站点通用，换了个网站一样能跑。

核心能力

Query Language：AgentQL 有自己的查询语言，支持结构化数据提取和转换，定义好输出格式后每次都按这个格式返回。数据清洗在 Query 层就完成了，不用再写 Python 脚本处理。

Playwright 集成：内置对 Playwright 的深度支持，可以跑无头浏览器、处理弹窗、执行登录流程、等待动态内容加载。对于需要 JS 渲染的页面（比如 React/Vue 写的单页应用），这是刚需。

MCP Server：有现成的 agentql-mcp，接 Claude Code、Cursor、Windsurf 这些 AI 编程工具只需要一行配置。装完直接对 AI 说”去抓某东的秒杀价”，AI 就自己跑 Playwright + AgentQL 给你拿数据。

Self-Healing：这是我认为最实用的特性——UI 改了，Query 不用改。传统爬虫网站改个 class 名就挂，AgentQL 因为是基于语义理解的，页面结构小幅变化基本不受影响。

数字

• GitHub ⭐ 1.4k（主仓库）+ 174（mcp 子仓库）
• MIT 许可证，代码全部开源
• 支持 Python / JavaScript 双 SDK
• 有 REST API，可以做服务端爬虫

适合谁用

需要 AI 自动化操作网页的同学——比如市场调研爬价格、AI 助手自动填表、端到端测试抓数据。特别是做 AI 应用需要接入外部网页数据的，AgentQL 比传统爬虫框架省心太多。

GitHub 链接：https://github.com/tinyfish-io/agentql

GitHub: https://github.com/tinyfish-io/agentql