进行中

vLLM 公布 GB200 上 TP1 解码优化数据

报道
1
信源
1
首次报道
11/21 04:14
最近更新
11/21 04:14

vLLM 在社交平台公布其在 NVIDIA GB200 上优化 TP1 解码延迟的结果:batch 1 时解码耗时从 10.29 ms 降至 3.84 ms,batch 32 时从 16.41 ms 降至 7.84 ms。 同一组数据中,每步 kernel 数从 4,278 降至 927。上述数字来自 vLLM 自行发布,未说明测试条件。

最新进展vLLM 在 GB200 上优化 TP1 解码延迟

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
1
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道1 篇

#NVIDIA 英伟达#推理能力#部署工程#产品更新