产品50

vLLM v0.34.0 发布:可扩展 KV cache 默认开启,新增 10 个模型

原标题:v0.34.0

GitHub 发布 · vLLM发布时间 (北京时间)

vLLM v0.34.0 发布,可扩展 KV cache 默认开启,按预热后实际空闲显存分配缓存,MiniMax-M3 在 H200 上缓存从 433k 增至 672k tokens。

来源仅允许展示摘要,全文请到原文阅读。
推理能力开源生态部署工程产品更新#产品更新#部署/工程#开源/仓库#推理