行业34
Marvell 与 Penguin 用光子共享内存池破解 AI 内存瓶颈:超 80% 扩展网络流量是内存搬运
原标题:AI’s hidden energy tax: More than 80% of scale-up traffic is just memory moving around
SSiliconANGLE · AI· Jonathan Anthony·发布时间 (北京时间)
Marvell 与 Penguin Solutions 在 SC26 上介绍用光子技术把 HBM 移出 GPU 机箱、组成可跨机架共享的内存池,以缓解 AI 推理的内存瓶颈。
部署工程数据与训练行业动态#行业动态#部署/工程#数据/训练