AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
评测客服类 AI 智能体在真实业务中与用户和工具交互能力的基准框架。
τ-Bench 是一个面向客服场景的智能体评测框架,每个领域定义智能体必须遵守的政策、可调用的工具和评测任务,并可选提供用户模拟器工具。支持文本半双工(轮流对话)和基于实时音频 API 的语音全双工评测,覆盖 airline、retail、telecom、banking_knowledge、intake 等领域。2.0 版本新增六语言(英、西、葡、印地、中、韩)任务包和全双工语音评测。
推荐指数
做客服 Agent 评测时值得优先考虑的成熟基准,但 2.0 与 1.x 分数不可直接比较,需注意版本。
近 7 天
+44
新增 Star
总 Star 排名
#1985
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年6月10日
核心亮点
1多领域任务
覆盖航空、零售、电信、银行知识检索、实体采集等客服场景。
2文本与语音
既支持轮流对话,也支持基于实时音频 API 的全双工语音评测。
3六语言支持
任务、数据库和用户人设均本地化到六种语言。
4冻结任务集
发布固定任务集与数据,便于复现和横向比较。
5后置评审
tau2 judges 可评估自然度、语音保真度和工具使用等。
适用场景
评测客服智能体
例如:用 text-v1 基准在 airline 领域跑 50 个任务,比较不同模型的完成率。
语音智能体测试
例如:用 --audio-native 跑 voice-v2,让实时语音模型与模拟来电者对话。
多语言能力验证
例如:用 --language zh 在中文任务包上测试智能体的政策遵循情况。
实体采集评测
例如:用 intake 领域 200 个外呼任务测试姓名、地址等信息的准确采集。
它是怎么工作的
第 1 步
定义领域
每个领域包含政策、工具集、任务集,可选用户模拟器工具。
第 2 步
模拟对话
智能体与用户模拟器交互,文本模式轮流对话,语音模式实时全双工。
第 3 步
执行任务
智能体按政策调用工具完成客服任务,如查订单、改航班。
第 4 步
评分与评审
运行后查看得分和对话记录,可用 judges 做额外质量评审。
快速上手
- 1
克隆并安装
需要 Python 3.12 以上,用 uv 同步依赖。
git clone https://github.com/sierra-research/tau2-bench && cd tau2-bench && uv sync --extra voice - 2
配置密钥
复制环境变量模板并填入 OPENAI_API_KEY,语音模式还需语音密钥。
cp .env.example .env - 3
试跑文本基准
先用 --dry-run 查看计划,去掉后正式运行。
tau2 run --benchmark text --agent-llm openai/gpt-5.5 --agent-llm-args '{"reasoning_effort":"low"}' --save-to text-run --dry-run - 4
查看结果
运行结束后查看得分和对话记录。
tau2 view --file data/simulations/text-run
适合谁
- 研究智能体评测的研究者
- 开发客服 Agent 的工程师
- 需要多语言或语音评测的团队
不太适合
- 只想调用现成客服 API 的产品团队
- 不熟悉 Python 和命令行环境的初学者
成熟度
- 活跃度2026 年 11 月仍有推送,2.0 版本持续更新。
- 文档README 详细,另有运行、提交、术语等文档。
- 社区约 2400 star、650 fork,但开放 issue 约 348 个。
- 上手难度需 uv、API 密钥和语音配置,语音评测上手成本较高。
同类项目怎么选
- AgentBench更偏通用多环境智能体评测,不专注客服对话和语音。
- WebArena评测网页操作类智能体,而非客服政策遵循与工具调用。
使用前注意
- · 2.0 与 1.x 分数不可直接比较,需按版本对照排行榜。
- · 语音评测需自建来电者音色,仓库自带音色为内部使用。
- · 运行需调用外部模型 API,会产生调用成本。
- · 采用 MIT 许可,可商用但需保留版权声明。
