精选教程72
vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash:单 GPU 1.7M tokens/s,较 GB300 NVL72 提升 58 倍
原标题:DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM 团队在 NVIDIA Vera Rubin NVL72 单机架上服务 DeepSeek-V4.1-Flash,实现每 GPU 1.7M tokens/s、单用户 387 tokens/s,吞吐为 GB300 NVL72 的 58 倍,峰值吞吐 2.52M tokens/s、单用户最高 1,810 tokens/s。
推荐理由vLLM 团队拆解了在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash 的四组优化,可看到硬件特性如何转成吞吐与延迟收益。
来源仅允许展示摘要,全文请到原文阅读。
