精选教程67
Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路径
原标题:Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI 复盘其推理优化路线:去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。
推荐理由Together AI 复盘从 megakernel 转向智能体驱动编译器的过程,并给出可迁移的推理优化取舍经验。
来源仅允许展示摘要,全文请到原文阅读。
同一件事的其他报道1 篇
Together Compiler 幕后:推理优化系统研发历程
Together AI · 原文
