产品
38
AI 评分(两次独立评分的平均)vLLM 在 GB200 上优化 TP1 解码延迟
原标题:On @NVIDIA GB200, TP1 decode falls from 10.29→3.84 ms at batch 1 and 16.41→7.84 ms at batch 32. Kernels per step: 4,278→927.
在 @NVIDIA GB200 上,TP1 解码在 batch 1 时从 10.29→3.84 ms,在 batch 32 时从 16.41→7.84 ms。每步 kernel 数:4,278→927。 3/4
中文译文尚未完成,先为你展示原文。
On @NVIDIA GB200, TP1 decode falls from 10.29→3.84 ms at batch 1 and 16.41→7.84 ms at batch 32. Kernels per step: 4,278→927.
3/4
