AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
评测 AI Agent 能否通过浏览器探索重建网站的全栈基准。
WebsiteBench 是一个面向 AI Agent 的评测基准:给定一个可浏览的生产级网站,Agent 需要通过浏览器探索,逆向还原出外观和行为尽量一致的全栈版本。仓库包含 70 个网站任务和 46,916 条隐藏测试用例,并提供基于 Harbor 的评测框架与打分脚本。
推荐指数
做浏览器 Agent 与前端生成评测时值得参考的基准,但上手依赖 Docker 和 Harbor,且任务较重。
总 Star 排名
#3633
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年11月4日
核心亮点
1真实网站任务
70 个生产级网站作为重建目标,贴近真实前端复杂度。
2隐藏测试用例
共 46,916 条用例,每个任务 302 到 2,016 条不等。
3功能与视觉双评
用例需功能检查通过且视觉检查点 SSIM 达 0.99 才算通过。
4现成评测框架
基于 Harbor 运行,支持指定 Agent 与模型,并输出 reward。
5数据可直接下载
任务托管在 Harbor Hub 与 Hugging Face,可用 PyPI 包下载。
适用场景
评测浏览器 Agent
例如:用 codex Agent 跑全部 70 个任务,比较不同模型的 reward。
研究前端代码生成
例如:观察 Agent 从浏览网站到产出全栈代码的完整过程与失败点。
验证 Agent 方案
例如:用 oracle 参考解跑单个任务,确认评测流程与打分是否正常。
它是怎么工作的
第 1 步
下载任务
通过 websitebench 包从 Harbor Hub 或 Hugging Face 获取任务数据。
第 2 步
启动评测
用 Harbor 指定数据集、Agent 和模型运行,任务在 Docker 环境中执行。
第 3 步
Agent 探索重建
Agent 在浏览器中浏览目标网站,逆向实现全栈版本。
第 4 步
隐藏用例打分
运行隐藏测试用例,检查功能与视觉检查点。
第 5 步
输出 reward
每个 trial 的得分写入 verifier/reward.txt,即通过用例占比。
快速上手
- 1
安装包
安装 websitebench 以获取任务数据。
pip install websitebench - 2
下载任务
下载 medium 难度的任务。
websitebench download --task medium - 3
安装 Harbor
需先装好 Docker,再安装指定版本 Harbor。
uv tool install harbor==0.25.0 - 4
跑参考解
用 oracle 跑单个任务,验证环境是否正常。
harbor run --task websitebench/medium@v1 --agent oracle
适合谁
- 研究浏览器自动化 Agent 的研究者
- 做前端代码生成评测的团队
- 需要标准化 Agent 基准的工程师
不太适合
- 只想快速体验 Agent 的普通用户
- 没有 Docker 环境的使用者
成熟度
- 活跃度仓库创建于 2026-11,近期仍有推送,star 约 500。
- 文档README 覆盖安装、运行与打分,细节分散在 docs 目录。
- 社区有 46 个 fork,但 open issue 达 90 个,社区仍在早期。
- 上手难度依赖 Docker 与 Harbor,还需配置 API Key 和多个网络白名单。
同类项目怎么选
- WebArena侧重在真实网站环境中完成指定任务,而非重建网站本身。
- SWE-bench评测代码仓库中的问题修复,不涉及浏览器探索与网站重建。
使用前注意
- · 运行需 Docker 与 Harbor 0.25.0,环境准备成本较高。
- · 评测需调用模型 API,会产生相应费用。
- · 参考网站复刻第三方站点,仅限非商业研究用途。
- · 任务定义含 harbor-canary 标记,训练数据应排除相关文档。
