观察中

vLLM v0.34.0 发布:可扩展 KV cache 默认开启

报道
1
信源
1
首次报道
11/17 07:22
最近更新
11/17 07:22

vLLM 发布 v0.34.0,可扩展 KV cache 默认开启,改为按预热后实际空闲显存分配缓存。官方称 MiniMax-M3 在 H200 上的缓存容量从 433k tokens 增至 672k tokens。 该版本移除 Model Runner V1,默认 block size 改为 64,不再提供 ROCm 7.2 镜像,并要求 huggingface_hub >= 2.0.0。若要沿用旧的缓存分配方式,需传入 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache。 版本含 412 名贡献者的 1,061 次提交,其中 120 人为新贡献者。

最新进展vLLM v0.34.0 发布:可扩展 KV cache 默认开启,新增 10 个模型

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. vLLM 发布 v0.34.0

    GitHub 发布 · vLLM 等 1 篇报道

官方一手信息1 篇

全部报道1 篇

#推理能力#开源生态#部署工程#产品更新