行业38

高通携手 Cirrascale 启动 Dragonfly AI200 推理加速器客户评估

原标题:高通携手 Cirrascale,启动自家推理加速器 AI200 客户评估

IT之家发布时间 (北京时间)

高通联合 AI 私有云企业 Cirrascale,向部分客户开放 Dragonfly AI200 推理加速器的云上评估。这是高通首款机架级 AI 解决方案,单卡配备 768GB LPDDR5X 内存,每个 140kW 液冷 ORv3 机架由 56 卡组成、总内存 43TB、内存带宽 0.414 PB/s,可在单机架内运行 10T 级超大模型推理。

来源仅允许展示摘要,全文请到原文阅读。
推理能力部署工程行业动态#行业动态#推理#部署/工程