AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
在真实网站上评测浏览器 AI Agent 完成日常任务的基准。
ClawBench 是一个开源评测基准,用来衡量浏览器 AI Agent 在真实网站上的日常任务表现,例如订票、点餐、求职、管理邮件。它包含 V1 和 V2 两套任务,共 281 个任务、覆盖 163 个在线网站和 15 个生活类别,并记录五层证据,支持基于请求的评分和与人类参考轨迹的对比。项目发表于 EMNLP 2026 Findings,提供数据集、排行榜和评测工具。
推荐指数
想客观衡量浏览器 Agent 实际能力的团队,值得用它做标准化评测。
近 7 天
+54
新增 Star
总 Star 排名
#2951
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年4月10日
核心亮点
1真实网站任务
任务跑在 163 个在线网站上,不是模拟页面。
2五层证据记录
拦截并记录请求、页面等多层数据,便于复盘。
3多种评分方式
支持基于请求的评分和与人类参考轨迹对比。
4开箱即用工具
提供 PyPI 包和交互式 TUI,一条命令启动评测。
5隔离运行环境
每个任务在独立 Docker 容器加 Chromium 中执行。
适用场景
模型能力对比
例如:在同一批任务上跑两个浏览器 Agent,比较完成率。
Agent 开发调试
例如:用单任务命令复现失败案例,查看录屏和请求记录。
学术研究复现
例如:按论文流程复现排行榜分数,作为基线对比。
它是怎么工作的
第 1 步
选择任务
从 V1 或 V2 中挑选一个日常场景任务。
第 2 步
启动容器
ClawBench 拉起隔离的 Docker 容器和 Chromium。
第 3 步
Agent 操作
Agent 在真实网站上导航、填表、点击。
第 4 步
记录证据
拦截器捕获五层数据并保存录屏与元数据。
第 5 步
评分对比
按请求或与人类参考轨迹比对得出分数。
快速上手
- 1
安装工具
从 PyPI 安装评测包并启动交互界面。
uv tool install clawbench-eval clawbench - 2
源码运行
克隆仓库、复制模型配置并填写 API 设置。
git clone https://github.com/TIGER-AI-Lab/ClawBench.git cd ClawBench cp models/models.example.yaml models/models.yaml uv run clawbench - 3
跑单个任务
非交互方式运行指定任务和模型。
uv run clawbench-run test-cases/v1/886-entertainment-hobbies-experience-topgolf your-provider-model-id
适合谁
- 研究浏览器 Agent 的学者
- 开发浏览器 Agent 的工程师
- 需要标准化评测的团队
不太适合
- 只想做简单网页自动化的用户
- 没有 Docker 环境的使用者
成熟度
- 活跃度2026 年 4 月创建,11 月仍有更新,star 约 1300。
- 文档README 完整,另有文档索引、FAQ 和复现指南。
- 社区有 79 个 fork,但开放 issue 达 139 个。
- 上手难度需 Python 3.11、uv 和 Docker,并配置模型与评审 API。
同类项目怎么选
- WebsiteBench同团队姊妹项目,侧重评测 Agent 逆向理解网站的能力。
使用前注意
- · 需要 Docker 或 Podman 环境,首次运行要构建镜像。
- · 评测依赖模型和评审模型的 API,会产生调用成本。
- · 任务跑在真实在线网站上,网站变动可能影响结果。
- · 采用 Apache-2.0 许可,商用前请确认条款。
