观察中
vLLM v0.34.0 发布:可扩展 KV cache 默认开启
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/17 07:22
- 最近更新
- 11/17 07:22
vLLM 发布 v0.34.0,可扩展 KV cache 默认开启,改为按预热后实际空闲显存分配缓存。官方称 MiniMax-M3 在 H200 上的缓存容量从 433k tokens 增至 672k tokens。 该版本移除 Model Runner V1,默认 block size 改为 64,不再提供 ROCm 7.2 镜像,并要求 huggingface_hub >= 2.0.0。若要沿用旧的缓存分配方式,需传入 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache。 版本含 412 名贡献者的 1,061 次提交,其中 120 人为新贡献者。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
GitHub 发布 · vLLM 等 1 篇报道
官方一手信息1 篇
vLLM v0.34.0 发布:可扩展 KV cache 默认开启,新增 10 个模型
vLLM v0.34.0 发布,可扩展 KV cache 默认开启,按预热后实际空闲显存分配缓存,MiniMax-M3 在 H200 上缓存从 433k 增至 672k tokens。
GitHub 发布 · vLLM一手
全部报道1 篇
vLLM v0.34.0 发布:可扩展 KV cache 默认开启,新增 10 个模型
vLLM v0.34.0 发布,可扩展 KV cache 默认开启,按预热后实际空闲显存分配缓存,MiniMax-M3 在 H200 上缓存从 433k 增至 672k tokens。
GitHub 发布 · vLLM一手
相关
#推理能力#开源生态#部署工程#产品更新
