产品58

vLLM 公布 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的 AgentX 基准结果

原标题:The only thing faster than GB300 Dynamo + vLLM is Vera Rubin Dynamo + vLLM 🏎️💨.

vLLM@vllm_project发布时间 (北京时间)

vLLM 公布 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上运行 Dynamo + vLLM 的首批 AgentX 基准结果。相比 GB300 NVL72 运行 Dynamo + vLLM,InferenceX 的性能标尺显示每芯片总 token 吞吐在 400 tok/s/user 时达 63.4 倍,在 600 tok/s/user 时达 93.3 倍。

中文译文尚未完成,先为你展示原文。

The only thing faster than GB300 Dynamo + vLLM is Vera Rubin Dynamo + vLLM 🏎️💨.

The first DeepSeek V4.1 Flash results on @NVIDIA Vera Rubin NVL72 are here, powered by Dynamo + vLLM on @SemiAnalysis_'s AgentX benchmark.

Compared with GB300 NVL72 running Dynamo + vLLM, InferenceX's perf ruler shows:
• 63.4× total token throughput per chip at 400 tok/s/user
• 93.3× at 600 tok/s/user