TIGER-AI-Lab GitHub avatar

WebsiteBench

Python
网站重建 Agent 基准TIGER-AI-Lab最近推送 2026年11月17日
数据与评测Apache-2.05374995 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

评测 AI Agent 能否通过浏览器探索重建网站的全栈基准。

WebsiteBench 是一个面向 AI Agent 的评测基准:给定一个可浏览的生产级网站,Agent 需要通过浏览器探索,逆向还原出外观和行为尽量一致的全栈版本。仓库包含 70 个网站任务和 46,916 条隐藏测试用例,并提供基于 Harbor 的评测框架与打分脚本。

推荐指数

4.0

做浏览器 Agent 与前端生成评测时值得参考的基准,但上手依赖 Docker 和 Harbor,且任务较重。

总 Star 排名

#3633

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年11月4日

核心亮点

  • 1真实网站任务

    70 个生产级网站作为重建目标,贴近真实前端复杂度。

  • 2隐藏测试用例

    共 46,916 条用例,每个任务 302 到 2,016 条不等。

  • 3功能与视觉双评

    用例需功能检查通过且视觉检查点 SSIM 达 0.99 才算通过。

  • 4现成评测框架

    基于 Harbor 运行,支持指定 Agent 与模型,并输出 reward。

  • 5数据可直接下载

    任务托管在 Harbor Hub 与 Hugging Face,可用 PyPI 包下载。

适用场景

  • 评测浏览器 Agent

    例如:用 codex Agent 跑全部 70 个任务,比较不同模型的 reward。

  • 研究前端代码生成

    例如:观察 Agent 从浏览网站到产出全栈代码的完整过程与失败点。

  • 验证 Agent 方案

    例如:用 oracle 参考解跑单个任务,确认评测流程与打分是否正常。

它是怎么工作的

  1. 第 1 步

    下载任务

    通过 websitebench 包从 Harbor Hub 或 Hugging Face 获取任务数据。

  2. 第 2 步

    启动评测

    用 Harbor 指定数据集、Agent 和模型运行,任务在 Docker 环境中执行。

  3. 第 3 步

    Agent 探索重建

    Agent 在浏览器中浏览目标网站,逆向实现全栈版本。

  4. 第 4 步

    隐藏用例打分

    运行隐藏测试用例,检查功能与视觉检查点。

  5. 第 5 步

    输出 reward

    每个 trial 的得分写入 verifier/reward.txt,即通过用例占比。

快速上手

  1. 1

    安装包

    安装 websitebench 以获取任务数据。

    pip install websitebench
  2. 2

    下载任务

    下载 medium 难度的任务。

    websitebench download --task medium
  3. 3

    安装 Harbor

    需先装好 Docker,再安装指定版本 Harbor。

    uv tool install harbor==0.25.0
  4. 4

    跑参考解

    用 oracle 跑单个任务,验证环境是否正常。

    harbor run --task websitebench/medium@v1 --agent oracle

适合谁

  • 研究浏览器自动化 Agent 的研究者
  • 做前端代码生成评测的团队
  • 需要标准化 Agent 基准的工程师

不太适合

  • 只想快速体验 Agent 的普通用户
  • 没有 Docker 环境的使用者

成熟度

  • 活跃度仓库创建于 2026-11,近期仍有推送,star 约 500。
  • 文档README 覆盖安装、运行与打分,细节分散在 docs 目录。
  • 社区有 46 个 fork,但 open issue 达 90 个,社区仍在早期。
  • 上手难度依赖 Docker 与 Harbor,还需配置 API Key 和多个网络白名单。

同类项目怎么选

  • WebArena侧重在真实网站环境中完成指定任务,而非重建网站本身。
  • SWE-bench评测代码仓库中的问题修复,不涉及浏览器探索与网站重建。

使用前注意

  • · 运行需 Docker 与 Harbor 0.25.0,环境准备成本较高。
  • · 评测需调用模型 API,会产生相应费用。
  • · 参考网站复刻第三方站点,仅限非商业研究用途。
  • · 任务定义含 harbor-canary 标记,训练数据应排除相关文档。

主题标签

benchmarkharborwebsite-reconstructionagent-evaluationaiai-agentsbenchmarkingbrowser-automationbrowser-usefull-stackharbor-frameworkllmllm-benchmarkllm-benchmarkingllm-benchmarksreverse-engineeringswe-benchvisual-evaluationweb-agentsweb-development