TIGER-AI-Lab GitHub avatar

ClawBench

Python
浏览器 Agent 评测基准TIGER-AI-Lab最近推送 2026年11月5日
数据与评测Apache-2.01,31979137 issues7 天 +54

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在真实网站上评测浏览器 AI Agent 完成日常任务的基准。

ClawBench 是一个开源评测基准,用来衡量浏览器 AI Agent 在真实网站上的日常任务表现,例如订票、点餐、求职、管理邮件。它包含 V1 和 V2 两套任务,共 281 个任务、覆盖 163 个在线网站和 15 个生活类别,并记录五层证据,支持基于请求的评分和与人类参考轨迹的对比。项目发表于 EMNLP 2026 Findings,提供数据集、排行榜和评测工具。

推荐指数

4.0

想客观衡量浏览器 Agent 实际能力的团队,值得用它做标准化评测。

近 7 天

+54

新增 Star

总 Star 排名

#2951

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年4月10日

核心亮点

  • 1真实网站任务

    任务跑在 163 个在线网站上,不是模拟页面。

  • 2五层证据记录

    拦截并记录请求、页面等多层数据,便于复盘。

  • 3多种评分方式

    支持基于请求的评分和与人类参考轨迹对比。

  • 4开箱即用工具

    提供 PyPI 包和交互式 TUI,一条命令启动评测。

  • 5隔离运行环境

    每个任务在独立 Docker 容器加 Chromium 中执行。

适用场景

  • 模型能力对比

    例如:在同一批任务上跑两个浏览器 Agent,比较完成率。

  • Agent 开发调试

    例如:用单任务命令复现失败案例,查看录屏和请求记录。

  • 学术研究复现

    例如:按论文流程复现排行榜分数,作为基线对比。

它是怎么工作的

  1. 第 1 步

    选择任务

    从 V1 或 V2 中挑选一个日常场景任务。

  2. 第 2 步

    启动容器

    ClawBench 拉起隔离的 Docker 容器和 Chromium。

  3. 第 3 步

    Agent 操作

    Agent 在真实网站上导航、填表、点击。

  4. 第 4 步

    记录证据

    拦截器捕获五层数据并保存录屏与元数据。

  5. 第 5 步

    评分对比

    按请求或与人类参考轨迹比对得出分数。

快速上手

  1. 1

    安装工具

    从 PyPI 安装评测包并启动交互界面。

    uv tool install clawbench-eval
    clawbench
  2. 2

    源码运行

    克隆仓库、复制模型配置并填写 API 设置。

    git clone https://github.com/TIGER-AI-Lab/ClawBench.git
    cd ClawBench
    cp models/models.example.yaml models/models.yaml
    uv run clawbench
  3. 3

    跑单个任务

    非交互方式运行指定任务和模型。

    uv run clawbench-run test-cases/v1/886-entertainment-hobbies-experience-topgolf your-provider-model-id

适合谁

  • 研究浏览器 Agent 的学者
  • 开发浏览器 Agent 的工程师
  • 需要标准化评测的团队

不太适合

  • 只想做简单网页自动化的用户
  • 没有 Docker 环境的使用者

成熟度

  • 活跃度2026 年 4 月创建,11 月仍有更新,star 约 1300。
  • 文档README 完整,另有文档索引、FAQ 和复现指南。
  • 社区有 79 个 fork,但开放 issue 达 139 个。
  • 上手难度需 Python 3.11、uv 和 Docker,并配置模型与评审 API。

同类项目怎么选

  • WebsiteBench同团队姊妹项目,侧重评测 Agent 逆向理解网站的能力。

使用前注意

  • · 需要 Docker 或 Podman 环境,首次运行要构建镜像。
  • · 评测依赖模型和评审模型的 API,会产生调用成本。
  • · 任务跑在真实在线网站上,网站变动可能影响结果。
  • · 采用 Apache-2.0 许可,商用前请确认条款。

主题标签

ai-agentsbenchmarkbrowser-automationbrowser-usedatasetevaluationllmweb-agentscomputer-usechrome-extensionllm-evaluationagent-evaluationagentic-aibrowser-agenteveryday-tasksweb-agentai-agent-benchmarkchrome-agentonline-tasksreal-world-benchmark