观察中

Together AI 发布编译器,推理吞吐最高提升 2.6 倍

报道
2
信源
2
首次报道
11/16 08:00
最近更新
11/17 06:50

Together AI 发布 Together Compiler,称其能让智能体针对模型、芯片和流量自动调优推理,吞吐量最高提升 2.6 倍。该公司在分享研发历程时称,开发中的实验推翻了团队对 megakernel 的原有假设,Torch Compile 的表现也超出预期。 Together AI 复盘称,其去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。 Together Compiler 目前需联系该公司申请早期访问,报道未说明其正式开放时间或收费方式。

最新进展Together Compiler 幕后:推理优化系统研发历程

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. Together AI分享编译器开发历程

    Together AI Blog 等 2 篇报道

官方一手信息1 篇

全部报道2 篇

  • Together Compiler 幕后:推理优化系统研发历程

    Together AI 分享两周前发布的 Together Compiler 背后的研发历程,该系统让智能体针对模型、芯片和流量自动调优推理,吞吐量最高提升 2.6 倍。文章回顾了挑战 megakernel 假设的实验、Torch Compile 出乎意料的优势,以及塑造这套下一代推理优化系统的经验教训。

    Together AI

  • Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路径

    Together AI 复盘其推理优化路线:去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。

    Together AI Blog一手精选

#推理能力#部署工程#教程实践#数据与训练