AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用自然语言提示词驱动 LLM 抓取网页并输出结构化数据的 Python 库。
ScrapeGraphAI 是一个基于 Python 的网页抓取库,用 LLM 和图形化流程搭建抓取管道,支持网站和本地文档(XML、HTML、JSON、Markdown 等)。你只需说明想提取什么信息,库就会自动完成抓取和整理。项目采用 MIT 许可,提供多种预置管道,如单页抓取、搜索结果多页抓取、生成音频、生成 Python 脚本等。
推荐指数
适合想用自然语言替代手写选择器的抓取场景,但依赖 LLM 成本与稳定性。
近 7 天
+126
新增 Star
总 Star 排名
#202
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年1月28日
核心亮点
1提示词即抓取
用一句自然语言描述要提取的字段,无需编写 CSS 或 XPath 选择器。
2多种预置管道
内置 SmartScraperGraph、SearchGraph、SpeechGraph、ScriptCreatorGraph 等,覆盖单页、多页和衍生任务。
3多模型可选
配置中可切换 Ollama 本地模型或 OpenAI 等云端模型。
4本地文档支持
除网页外,也能处理 XML、HTML、JSON、Markdown 等本地文件。
5生态集成多
提供 API、Python/Node SDK,并集成 LangChain、LlamaIndex、n8n、Dify 等工具。
适用场景
结构化信息抽取
例如:给一个公司官网 URL 和提示词,直接得到公司简介、创始人和社交链接的 JSON。
搜索结果汇总
例如:用 SearchGraph 抓取某关键词前几条搜索结果页面并汇总信息。
RAG 数据准备
例如:把网页内容抽取为 Markdown 或结构化字段,供后续检索增强生成使用。
快速生成抓取脚本
例如:用 ScriptCreatorGraph 根据目标页面生成可复用的 Python 抓取代码。
它是怎么工作的
第 1 步
配置 LLM
在 graph_config 中指定模型(如 ollama/llama3.2 或 openai/gpt-4o-mini)及密钥。
第 2 步
选择管道
按任务选择 SmartScraperGraph 等预置图结构,传入提示词和来源 URL。
第 3 步
抓取与解析
库获取页面内容,交给 LLM 按提示词理解并抽取目标信息。
第 4 步
输出结果
run() 返回字典等结构化结果,可直接序列化为 JSON 使用。
快速上手
- 1
安装库
用 pip 安装 scrapegraphai,建议在虚拟环境中进行。
pip install scrapegraphai - 2
安装浏览器依赖
抓取网页内容前需安装 Playwright 浏览器。
playwright install - 3
编写抓取脚本
配置 LLM,创建 SmartScraperGraph 并调用 run()。
- 4
查看输出
将返回的字典用 json.dumps 打印,检查抽取字段是否符合预期。
适合谁
- 需要快速从网页抽取结构化数据的 Python 开发者
- 不想维护复杂选择器规则的抓取项目
- 做 RAG 或数据管道、需要网页内容清洗的人
- 已在使用 LangChain、LlamaIndex 等 LLM 框架的团队
不太适合
- 对抓取成本极度敏感、无法承担 LLM 调用费用的场景
- 需要完全确定性、可离线复现的批量抓取任务
- 不熟悉 Python 和 LLM 配置的纯业务用户
成熟度
- 活跃度最近一次推送在 2026 年 10 月,star 超过 3.2 万,更新活跃。
- 文档README 含安装、示例、管道表格和多语言文档链接,细节需跳转官网。
- 社区3.3 千 fork、开放 issue 仅 34 个,有 Discord 社区。
- 上手难度几行代码即可跑通单页抓取,但需自行配置 LLM 和 Playwright。
同类项目怎么选
- Firecrawl更偏向提供托管 API 和网页转 Markdown 服务,本项目是本地 Python 库且强调图管道。
- Crawl4AI同样面向 LLM 的抓取工具,侧重爬取与 Markdown 输出,本项目提供更多预置图管道类型。
使用前注意
- · 依赖 LLM 推理,抓取结果可能不稳定,且会产生模型调用成本。
- · 需额外执行 playwright install 安装浏览器依赖,环境配置略多。
- · README 顶部推广其商业云服务,部分高级能力可能只在云端提供。
- · 项目采用 MIT 许可,商用前仍建议核对依赖组件的许可。
