观察中
Together AI 发布编译器,推理吞吐最高提升 2.6 倍
- 报道
- 2
- 信源
- 2
- 首次报道
- 11/16 08:00
- 最近更新
- 11/17 06:50
Together AI 发布 Together Compiler,称其能让智能体针对模型、芯片和流量自动调优推理,吞吐量最高提升 2.6 倍。该公司在分享研发历程时称,开发中的实验推翻了团队对 megakernel 的原有假设,Torch Compile 的表现也超出预期。 Together AI 复盘称,其去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。 Together Compiler 目前需联系该公司申请早期访问,报道未说明其正式开放时间或收费方式。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Together AI Blog 等 2 篇报道
官方一手信息1 篇
Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路径
Together AI 复盘其推理优化路线:去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。
Together AI Blog一手精选
全部报道2 篇
Together Compiler 幕后:推理优化系统研发历程
Together AI 分享两周前发布的 Together Compiler 背后的研发历程,该系统让智能体针对模型、芯片和流量自动调优推理,吞吐量最高提升 2.6 倍。文章回顾了挑战 megakernel 假设的实验、Torch Compile 出乎意料的优势,以及塑造这套下一代推理优化系统的经验教训。
Together AI
Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路径
Together AI 复盘其推理优化路线:去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。
Together AI Blog一手精选
