精选教程72

vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash:单 GPU 1.7M tokens/s,较 GB300 NVL72 提升 58 倍

原标题:DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s

vLLM Blog· Inferact and the vLLM Team发布时间 (北京时间)

vLLM 团队在 NVIDIA Vera Rubin NVL72 单机架上服务 DeepSeek-V4.1-Flash,实现每 GPU 1.7M tokens/s、单用户 387 tokens/s,吞吐为 GB300 NVL72 的 58 倍,峰值吞吐 2.52M tokens/s、单用户最高 1,810 tokens/s。

推荐理由vLLM 团队拆解了在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash 的四组优化,可看到硬件特性如何转成吞吐与延迟收益。

来源仅允许展示摘要,全文请到原文阅读。
DeepSeek推理能力部署工程教程实践#教程/实践#推理#部署/工程#DeepSeek