产品58
Cerebras 推出分离式推理,GPU 做 prefill、晶圆级引擎做 decode
原标题:Cerebras launches disaggregated inference
Cerebras 发布并已投产分离式推理方案,由 GPU 处理 prompt 的 prefill、Cerebras 系统负责 decode,生产部署中每兆瓦吞吐达到纯 CS-3 配置的 5 倍且生成速度不变。
中文译文尚未完成,先为你展示原文。
产品58
原标题:Cerebras launches disaggregated inference
Cerebras 发布并已投产分离式推理方案,由 GPU 处理 prompt 的 prefill、Cerebras 系统负责 decode,生产部署中每兆瓦吞吐达到纯 CS-3 配置的 5 倍且生成速度不变。
中文译文尚未完成,先为你展示原文。