进行中

Artificial Analysis 公布 Parallel Search 每任务成本

报道
5
信源
1
首次报道
11/21 01:43
最近更新
11/21 01:43

Artificial Analysis 在 Stirrup 智能体框架中,以 Parallel Search 作为 web_search 工具完成 1700 个搜索任务,并公布两种模式每任务的总成本(搜索加模型推理):快速模式约 $0.014,其中搜索约 $0.005(4.6 次搜索,每 1k 次 $1)、模型约 $0.009;高级模式约 $0.030,其中搜索约 $0.023(4.6 次搜索,每 1k 次 $5)、模型约 $0.007。 Artificial Analysis 称,在搜索指数与每任务成本的对比中,两种模式都处于成本前沿,没有产品能以更低成本获得更高分数;在搜索指数与每任务耗时的对比中,两种模式也处于前沿。高级模式每任务约消耗 82k token,在 26 个工具中第二低,仅次于 OpenAI Web Search(medium)的 41k。 快速模式每任务耗时 15.5 秒,其中搜索仅占 3.8 秒,与 Octen(15.4 秒)、Keenable Search(实时,15.8 秒)相当,远低于榜单中位数约 28 秒。

最新进展Artificial Analysis 发布搜索 API 智能体基准

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
5
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展2 个阶段

全部报道5 篇

  • Artificial Analysis 发布搜索 API 智能体基准

    ➤ 排行榜:https://artificialanalysis.ai/agents/search-api ➤ 方法论:https://artificialanalysis.ai/methodology/search-api ➤ Stirrup,我们用于所有 Search API 评测行的开源智能体框架:https://stirrup.artificialanalysis.ai Search API 提供商可联系我们以纳入该基准测试:https://artificialanalysis.ai/contact

    Artificial Analysis

  • Artificial Analysis 对比 Parallel Search 与 OpenAI 搜索 token 消耗

    Artificial Analysis 统计了各搜索工具每任务消耗的总 token(含输入、推理与回答),Parallel Search(advanced, objective)约 82k,在 26 个工具中第二低,仅次于 OpenAI Web Search(medium)的 41k。

    Artificial Analysis

  • Parallel Search 搜索索引速度与得分双优

    Artificial Analysis 分析显示,Parallel Search 快速模式每任务耗时 15.5s,与 Octen(15.4s)、Keenable Search(实时,15.8s)相当,远低于榜单中位数约 28s,其中搜索仅占 3.8s。

    Artificial Analysis

  • Parallel Search 每任务成本解析

    每任务总成本由搜索成本和模型推理成本构成。Parallel Search(快速、客观)每任务约 $0.014:搜索约 $0.005(4.6 次搜索,每 1k 次 $1),模型约 $0.009。 Parallel Search(高级、客观)约 $0.030:搜索约 $0.023(4.6 次搜索,每 1k 次 $5),模型约 $0.007。 在 Artificial Analysis 搜索指数与每任务成本的对比中,两种模式都处于成本前沿:没有产品能以更低成本获得更高分数。

    Artificial Analysis

  • Artificial Analysis 评测 Parallel Search:advanced 模式得分 83 并列榜首

    Artificial Analysis 在 Stirrup agent harness 中以 Parallel Search 作为 web_search 工具完成 1700 个搜索任务。

    Artificial Analysis

#评测基准#Agent 智能体#开源生态#部署工程#数据与训练#产品更新