产品58

Cerebras 推出分离式推理,GPU 做 prefill、晶圆级引擎做 decode

原标题:Cerebras launches disaggregated inference

Cerebras@cerebras发布时间 (北京时间)

Cerebras 发布并已投产分离式推理方案,由 GPU 处理 prompt 的 prefill、Cerebras 系统负责 decode,生产部署中每兆瓦吞吐达到纯 CS-3 配置的 5 倍且生成速度不变。

中文译文尚未完成,先为你展示原文。

推理能力部署工程产品更新#产品更新#部署/工程#推理