ScrapeGraphAI GitHub avatar

Scrapegraph-ai

Python
智能网页采集工具ScrapeGraphAI最近推送 2026年10月6日
RAG 与知识库MIT32.9k3,35234 issues7 天 +126

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用自然语言提示词驱动 LLM 抓取网页并输出结构化数据的 Python 库。

ScrapeGraphAI 是一个基于 Python 的网页抓取库,用 LLM 和图形化流程搭建抓取管道,支持网站和本地文档(XML、HTML、JSON、Markdown 等)。你只需说明想提取什么信息,库就会自动完成抓取和整理。项目采用 MIT 许可,提供多种预置管道,如单页抓取、搜索结果多页抓取、生成音频、生成 Python 脚本等。

推荐指数

4.0

适合想用自然语言替代手写选择器的抓取场景,但依赖 LLM 成本与稳定性。

近 7 天

+126

新增 Star

总 Star 排名

#202

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年1月28日

核心亮点

  • 1提示词即抓取

    用一句自然语言描述要提取的字段,无需编写 CSS 或 XPath 选择器。

  • 2多种预置管道

    内置 SmartScraperGraph、SearchGraph、SpeechGraph、ScriptCreatorGraph 等,覆盖单页、多页和衍生任务。

  • 3多模型可选

    配置中可切换 Ollama 本地模型或 OpenAI 等云端模型。

  • 4本地文档支持

    除网页外,也能处理 XML、HTML、JSON、Markdown 等本地文件。

  • 5生态集成多

    提供 API、Python/Node SDK,并集成 LangChain、LlamaIndex、n8n、Dify 等工具。

适用场景

  • 结构化信息抽取

    例如:给一个公司官网 URL 和提示词,直接得到公司简介、创始人和社交链接的 JSON。

  • 搜索结果汇总

    例如:用 SearchGraph 抓取某关键词前几条搜索结果页面并汇总信息。

  • RAG 数据准备

    例如:把网页内容抽取为 Markdown 或结构化字段,供后续检索增强生成使用。

  • 快速生成抓取脚本

    例如:用 ScriptCreatorGraph 根据目标页面生成可复用的 Python 抓取代码。

它是怎么工作的

  1. 第 1 步

    配置 LLM

    在 graph_config 中指定模型(如 ollama/llama3.2 或 openai/gpt-4o-mini)及密钥。

  2. 第 2 步

    选择管道

    按任务选择 SmartScraperGraph 等预置图结构,传入提示词和来源 URL。

  3. 第 3 步

    抓取与解析

    库获取页面内容,交给 LLM 按提示词理解并抽取目标信息。

  4. 第 4 步

    输出结果

    run() 返回字典等结构化结果,可直接序列化为 JSON 使用。

快速上手

  1. 1

    安装库

    用 pip 安装 scrapegraphai,建议在虚拟环境中进行。

    pip install scrapegraphai
  2. 2

    安装浏览器依赖

    抓取网页内容前需安装 Playwright 浏览器。

    playwright install
  3. 3

    编写抓取脚本

    配置 LLM,创建 SmartScraperGraph 并调用 run()。

  4. 4

    查看输出

    将返回的字典用 json.dumps 打印,检查抽取字段是否符合预期。

适合谁

  • 需要快速从网页抽取结构化数据的 Python 开发者
  • 不想维护复杂选择器规则的抓取项目
  • 做 RAG 或数据管道、需要网页内容清洗的人
  • 已在使用 LangChain、LlamaIndex 等 LLM 框架的团队

不太适合

  • 对抓取成本极度敏感、无法承担 LLM 调用费用的场景
  • 需要完全确定性、可离线复现的批量抓取任务
  • 不熟悉 Python 和 LLM 配置的纯业务用户

成熟度

  • 活跃度最近一次推送在 2026 年 10 月,star 超过 3.2 万,更新活跃。
  • 文档README 含安装、示例、管道表格和多语言文档链接,细节需跳转官网。
  • 社区3.3 千 fork、开放 issue 仅 34 个,有 Discord 社区。
  • 上手难度几行代码即可跑通单页抓取,但需自行配置 LLM 和 Playwright。

同类项目怎么选

  • Firecrawl更偏向提供托管 API 和网页转 Markdown 服务,本项目是本地 Python 库且强调图管道。
  • Crawl4AI同样面向 LLM 的抓取工具,侧重爬取与 Markdown 输出,本项目提供更多预置图管道类型。

使用前注意

  • · 依赖 LLM 推理,抓取结果可能不稳定,且会产生模型调用成本。
  • · 需额外执行 playwright install 安装浏览器依赖,环境配置略多。
  • · README 顶部推广其商业云服务,部分高级能力可能只在云端提供。
  • · 项目采用 MIT 许可,商用前仍建议核对依赖组件的许可。

主题标签

scrapingscraping-pythonllmweb-crawlerweb-scrapingai-scrapingcrawlermarkdownragweb-crawlersai-crawlerai-searchlarge-language-modelweb-data-extractionweb-searchweb-scraperdata-extractionweb-datawebscrapingfirecrawl-alternative