行业34

Marvell 与 Penguin 用光子共享内存池破解 AI 内存瓶颈:超 80% 扩展网络流量是内存搬运

原标题:AI’s hidden energy tax: More than 80% of scale-up traffic is just memory moving around

SiliconANGLE · AI· Jonathan Anthony发布时间 (北京时间)

Marvell 与 Penguin Solutions 在 SC26 上介绍用光子技术把 HBM 移出 GPU 机箱、组成可跨机架共享的内存池,以缓解 AI 推理的内存瓶颈。

来源仅允许展示摘要,全文请到原文阅读。
部署工程数据与训练行业动态#行业动态#部署/工程#数据/训练