firecrawl GitHub avatar

firecrawl

TypeScript
智能网页采集工具firecrawl最近推送 2026年11月18日
浏览器 & 自动化AGPL-3.0202.7k10.6k813 issues7 天 +2,094

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

把网页转成 LLM 可用的 Markdown 或结构化数据的开源抓取 API。

Firecrawl 是一个面向 AI 智能体的网页数据 API,提供搜索、抓取、交互、整站爬取、文档解析等能力。它把任意 URL 或 PDF/DOCX 转成干净的 Markdown、结构化 JSON 或截图,并处理代理轮换、JS 渲染和限流等复杂问题。项目开源,同时提供托管服务。

推荐指数

5.0

功能覆盖搜索到抓取再到交互的完整链路,输出直接适配 LLM,适合需要网页上下文的 AI 应用。

近 7 天

+2,094

新增 Star

总 Star 排名

#6

雷达追踪的 3,931 个 AI 仓库中

创建于

2024

2024年4月16日

核心亮点

  • 1LLM 友好输出

    抓取结果直接输出 Markdown、结构化 JSON 或截图,减少 token 消耗。

  • 2覆盖 JS 页面

    README 称覆盖 96% 的网页,包括 JS 渲染较重的页面。

  • 3多端点能力

    提供 Search、Scrape、Interact、Crawl、Map、Batch Scrape 等接口。

  • 4文档解析

    支持把 PDF、DOCX 等文档转成 Markdown 或结构化 JSON。

  • 5Agent 集成

    可通过一条命令接入 AI Agent 或 MCP 客户端。

适用场景

  • 给 AI 应用补充网页上下文

    例如:用 search 接口搜索关键词,直接拿到结果页的 Markdown 内容喂给大模型。

  • 整站数据采集

    例如:用 crawl 接口一次性抓取某个网站的全部 URL 并转为 Markdown。

  • 页面交互后提取

    例如:先 scrape 电商页面,再用 interact 输入搜索词并点击结果,然后提取内容。

  • 文档内容结构化

    例如:用 parse 接口把 PDF 报告转成结构化 JSON 供下游处理。

它是怎么工作的

  1. 第 1 步

    发起请求

    通过 Python/Node.js SDK、cURL 或 CLI 调用 Search、Scrape 等端点。

  2. 第 2 步

    抓取与渲染

    服务端处理代理轮换、JS 渲染和限流,获取页面内容。

  3. 第 3 步

    转换输出

    将内容转为 Markdown、结构化 JSON、HTML 或截图。

  4. 第 4 步

    交互与扩展

    通过 interact 对已抓取页面执行点击、输入等操作,或接入 Agent 自动采集。

快速上手

  1. 1

    获取 API Key

    在 firecrawl.dev 注册并获取 API Key。

  2. 2

    安装 SDK

    安装 Python 或 Node.js 客户端库。

    pip install firecrawl-py
  3. 3

    抓取网页

    用 API Key 初始化客户端并抓取一个 URL。

    app.scrape('firecrawl.dev')
  4. 4

    搜索网页

    调用 search 接口获取搜索结果及页面内容。

    app.search("firecrawl", limit=5)

适合谁

  • 需要给大模型或 Agent 提供网页上下文的开发者
  • 做数据采集和网页转 Markdown 的工程师
  • 需要处理 JS 渲染页面和反爬场景的团队
  • 希望用托管 API 减少爬虫运维成本的项目

不太适合

  • 只需要简单静态页面抓取、不想引入外部服务的个人项目
  • 对 AGPL-3.0 许可证有严格限制的商业项目

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,star 数超过 20 万,更新频繁。
  • 文档README 覆盖主要端点和多语言示例,详细文档在独立站点。
  • 社区有 Discord 社区和大量贡献者,但开放 issue 约 809 个。
  • 上手难度提供 SDK、CLI 和托管服务,上手门槛低,但依赖 API Key。

同类项目怎么选

  • Crawl4AI同样面向 LLM 的网页抓取,但更强调本地自托管和开源免费。
  • Jina Reader提供 URL 转 Markdown 的阅读器接口,功能更聚焦于单页内容提取。
  • Scrapy通用爬虫框架,需要自行处理渲染、代理和输出格式,不直接面向 LLM。

使用前注意

  • · 许可证为 AGPL-3.0,商业使用前需确认合规要求。
  • · 托管服务需要注册获取 API Key,可能涉及用量计费。
  • · 自托管部署需要自行处理代理、渲染和限流等基础设施。
  • · README 中的覆盖率和延迟数据来自官方基准,实际表现可能因场景而异。

主题标签

aicrawlermarkdownscraperhtml-to-markdownllmscrapingweb-crawlerai-scrapingwebscrapingweb-scrapingweb-dataweb-data-extractionai-agentsdata-extractionai-crawlerai-searchweb-scraperweb-search