← 返回 FEED
AGENT2026-04-17

Firecrawl开源web-agent框架:用同一套架构驱动搜索、爬取、交互的Web Agent

Firecrawl今天正式开源web-agent框架——一套构建Web Agent的开放框架,用的是他们生产环境里驱动/agent端点的同一套架构。100%开源,模型无关,支持自部署。

为什么重要

Firecrawl现在是110K+ GitHub Stars的产品,服务数百万次网页爬取请求。他们最有价值的资产不是爬取能力本身,而是那套能处理JS渲染页面、执行页面交互(点击/滚动/输入/等待)的Agent式架构

现在这套架构开源了。

核心能力

web-agent框架解决三个层次的Web交互:

能力说明
Search搜索网页,获取完整页面内容,不只是标题摘要
Scrape任意URL转Markdown/HTML/截图/结构化JSON,支持JS渲染页面
Interact爬取页面后,用AI prompt或代码继续交互——点击/滚动/输入/等待/按键

这三级能力不是独立的,是链式调用的:Agent可以决定先用Search找相关页面,再用Scrape提取内容,然后根据内容用Interact执行下一步操作。

模型无关

支持:Anthropic / OpenAI / 自有模型

这意味着可以在本地部署完整的web-agent系统,不需要把数据送到第三方API。对于需要处理内部网页、登录后页面、或敏感数据的场景,这点很关键。

与/agent端点的关系

Firecrawl线上产品有一个/agent端点,用户描述需求,Agent自动完成搜索→爬取→交互→返回结果的完整流程。web-agent框架就是这套端点背后的技术栈的开源版本。

开发者现在可以:

  • 自己在本地运行相同架构
  • 定制Agent的思考链和工具调用逻辑
  • 集成到自己的产品里,不需要付Firecrawl云服务费用

开源意味着什么

Firecrawl之前是"API服务+开源SDK",现在扩展到"完整Agent框架开源"。这对构建AI搜索产品、研究自动化管道、需要网页操作能力的Agent开发者都是直接可用的底层组件。

底层技术栈:Python(firecrawl-py)+ Node.js(@mendable/firecrawl-js)+ CLI,pip install或npx直接跑。