进行中
vLLM 公布 GB200 上 TP1 解码优化数据
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/21 04:14
- 最近更新
- 11/21 04:14
vLLM 在社交平台公布其在 NVIDIA GB200 上优化 TP1 解码延迟的结果:batch 1 时解码耗时从 10.29 ms 降至 3.84 ms,batch 32 时从 16.41 ms 降至 7.84 ms。 同一组数据中,每步 kernel 数从 4,278 降至 927。上述数字来自 vLLM 自行发布,未说明测试条件。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 1
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
vLLM 等 1 篇报道
全部报道1 篇
在 @NVIDIA GB200 上,TP1 解码在 batch 1 时从 10.29→3.84 ms,在 batch 32 时从 16.41→7.84 ms。每步 kernel 数:4,278→927。 3/4
vLLM
相关
#NVIDIA 英伟达#推理能力#部署工程#产品更新
