进行中
Cerebras推出GPU+晶圆级引擎分离式推理
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/18 04:37
- 最近更新
- 11/18 04:37
Cerebras 发布并已投产分离式推理方案:由 GPU 处理 prompt 的 prefill,Cerebras 系统负责 decode。Cerebras 称,生产部署中该方案每兆瓦吞吐达到纯 CS-3 配置的 5 倍,生成速度不变。 AWS、Fireworks AI、Gimlet Labs、General Compute 等早期接入合作伙伴已可在各自部署中使用该方案,Cerebras 正扩大向更多合作伙伴开放。Cerebras 计划到 2027 年底在自家推理云和合作伙伴部署中推广至数百兆瓦规模。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Cerebras 等 1 篇报道
全部报道1 篇
Cerebras 推出分离式推理,GPU 做 prefill、晶圆级引擎做 decode
Cerebras 发布并已投产分离式推理方案,由 GPU 处理 prompt 的 prefill、Cerebras 系统负责 decode,生产部署中每兆瓦吞吐达到纯 CS-3 配置的 5 倍且生成速度不变。
Cerebras
相关
#推理能力#部署工程#产品更新
