Firecrawl今天正式开源web-agent框架——一套构建Web Agent的开放框架,用的是他们生产环境里驱动/agent端点的同一套架构。100%开源,模型无关,支持自部署。
为什么重要
Firecrawl现在是110K+ GitHub Stars的产品,服务数百万次网页爬取请求。他们最有价值的资产不是爬取能力本身,而是那套能处理JS渲染页面、执行页面交互(点击/滚动/输入/等待)的Agent式架构。
现在这套架构开源了。
核心能力
web-agent框架解决三个层次的Web交互:
| 能力 | 说明 |
|---|---|
| Search | 搜索网页,获取完整页面内容,不只是标题摘要 |
| Scrape | 任意URL转Markdown/HTML/截图/结构化JSON,支持JS渲染页面 |
| Interact | 爬取页面后,用AI prompt或代码继续交互——点击/滚动/输入/等待/按键 |
这三级能力不是独立的,是链式调用的:Agent可以决定先用Search找相关页面,再用Scrape提取内容,然后根据内容用Interact执行下一步操作。
模型无关
支持:Anthropic / OpenAI / 自有模型
这意味着可以在本地部署完整的web-agent系统,不需要把数据送到第三方API。对于需要处理内部网页、登录后页面、或敏感数据的场景,这点很关键。
与/agent端点的关系
Firecrawl线上产品有一个/agent端点,用户描述需求,Agent自动完成搜索→爬取→交互→返回结果的完整流程。web-agent框架就是这套端点背后的技术栈的开源版本。
开发者现在可以:
- 自己在本地运行相同架构
- 定制Agent的思考链和工具调用逻辑
- 集成到自己的产品里,不需要付Firecrawl云服务费用
开源意味着什么
Firecrawl之前是"API服务+开源SDK",现在扩展到"完整Agent框架开源"。这对构建AI搜索产品、研究自动化管道、需要网页操作能力的Agent开发者都是直接可用的底层组件。
底层技术栈:Python(firecrawl-py)+ Node.js(@mendable/firecrawl-js)+ CLI,pip install或npx直接跑。