sierra-research GitHub avatar

tau2-bench

Python
工具智能体评测基准sierra-research最近推送 2026年11月11日
数据与评测MIT2,479652351 issues7 天 +44

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

评测客服类 AI 智能体在真实业务中与用户和工具交互能力的基准框架。

τ-Bench 是一个面向客服场景的智能体评测框架,每个领域定义智能体必须遵守的政策、可调用的工具和评测任务,并可选提供用户模拟器工具。支持文本半双工(轮流对话)和基于实时音频 API 的语音全双工评测,覆盖 airline、retail、telecom、banking_knowledge、intake 等领域。2.0 版本新增六语言(英、西、葡、印地、中、韩)任务包和全双工语音评测。

推荐指数

4.0

做客服 Agent 评测时值得优先考虑的成熟基准,但 2.0 与 1.x 分数不可直接比较,需注意版本。

近 7 天

+44

新增 Star

总 Star 排名

#1985

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年6月10日

核心亮点

  • 1多领域任务

    覆盖航空、零售、电信、银行知识检索、实体采集等客服场景。

  • 2文本与语音

    既支持轮流对话,也支持基于实时音频 API 的全双工语音评测。

  • 3六语言支持

    任务、数据库和用户人设均本地化到六种语言。

  • 4冻结任务集

    发布固定任务集与数据,便于复现和横向比较。

  • 5后置评审

    tau2 judges 可评估自然度、语音保真度和工具使用等。

适用场景

  • 评测客服智能体

    例如:用 text-v1 基准在 airline 领域跑 50 个任务,比较不同模型的完成率。

  • 语音智能体测试

    例如:用 --audio-native 跑 voice-v2,让实时语音模型与模拟来电者对话。

  • 多语言能力验证

    例如:用 --language zh 在中文任务包上测试智能体的政策遵循情况。

  • 实体采集评测

    例如:用 intake 领域 200 个外呼任务测试姓名、地址等信息的准确采集。

它是怎么工作的

  1. 第 1 步

    定义领域

    每个领域包含政策、工具集、任务集,可选用户模拟器工具。

  2. 第 2 步

    模拟对话

    智能体与用户模拟器交互,文本模式轮流对话,语音模式实时全双工。

  3. 第 3 步

    执行任务

    智能体按政策调用工具完成客服任务,如查订单、改航班。

  4. 第 4 步

    评分与评审

    运行后查看得分和对话记录,可用 judges 做额外质量评审。

快速上手

  1. 1

    克隆并安装

    需要 Python 3.12 以上,用 uv 同步依赖。

    git clone https://github.com/sierra-research/tau2-bench && cd tau2-bench && uv sync --extra voice
  2. 2

    配置密钥

    复制环境变量模板并填入 OPENAI_API_KEY,语音模式还需语音密钥。

    cp .env.example .env
  3. 3

    试跑文本基准

    先用 --dry-run 查看计划,去掉后正式运行。

    tau2 run --benchmark text --agent-llm openai/gpt-5.5 --agent-llm-args '{"reasoning_effort":"low"}' --save-to text-run --dry-run
  4. 4

    查看结果

    运行结束后查看得分和对话记录。

    tau2 view --file data/simulations/text-run

适合谁

  • 研究智能体评测的研究者
  • 开发客服 Agent 的工程师
  • 需要多语言或语音评测的团队

不太适合

  • 只想调用现成客服 API 的产品团队
  • 不熟悉 Python 和命令行环境的初学者

成熟度

  • 活跃度2026 年 11 月仍有推送,2.0 版本持续更新。
  • 文档README 详细,另有运行、提交、术语等文档。
  • 社区约 2400 star、650 fork,但开放 issue 约 348 个。
  • 上手难度需 uv、API 密钥和语音配置,语音评测上手成本较高。

同类项目怎么选

  • AgentBench更偏通用多环境智能体评测,不专注客服对话和语音。
  • WebArena评测网页操作类智能体,而非客服政策遵循与工具调用。

使用前注意

  • · 2.0 与 1.x 分数不可直接比较,需按版本对照排行榜。
  • · 语音评测需自建来电者音色,仓库自带音色为内部使用。
  • · 运行需调用外部模型 API,会产生调用成本。
  • · 采用 MIT 许可,可商用但需保留版权声明。

主题标签

benchmarkllmailanguage-model-agentconversational-agents