产品38
寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通 MLU 推理链路
原标题:寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
寒武纪宣布已完成对商汤日日新 SenseNova Loop-9B 的 Day 0 适配,基于 vllm_mlu 打通该模型在 MLU 平台上的推理链路。适配围绕 Loop 循环层静态展开、MLU 算子复用与 mHC 路由优化三方面展开,将 32 个物理解码层扩展为 56 次层计算。该模型约 9B 参数,官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 内。
来源仅允许展示摘要,全文请到原文阅读。
