进行中
vLLM 在 AMD GPU 上用 FlyDSL MonoKernel 降低解码延迟
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/18 08:00
- 最近更新
- 11/18 08:00
vLLM 官方博客介绍了一种用 FlyDSL 编写的 MonoKernel 方案,用于在 AMD Instinct GPU 上降低交互式 LLM 服务的解码延迟。该方案把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据,减少内核启动与等待开销。 该路径默认关闭,需用 --monokernel 开启;内核无法服务的部署会在启动时失败并列出全部原因,更宽的步骤仍走原有路径。若没有 scaled FP4/FP8 MFMA,内核会保留自己的权重副本:以 DeepSeek-V4.1-Flash 在 TP4 下为例,每 rank 占用 170 GiB,而非 99 GiB。上述延迟降低效果来自 vLLM 博客的介绍,并非独立验证的结论。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
介绍 vLLM 中 FlyDSL MonoKernel 解码优化
vLLM Blog 等 1 篇报道
官方一手信息1 篇
vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的解码延迟
vLLM 官方博客介绍用 FlyDSL 编写的 MonoKernel 在 AMD Instinct GPU 上降低交互式解码延迟,把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据减少内核启动与等待开销。
vLLM Blog一手
全部报道1 篇
vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的解码延迟
vLLM 官方博客介绍用 FlyDSL 编写的 MonoKernel 在 AMD Instinct GPU 上降低交互式解码延迟,把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据减少内核启动与等待开销。
vLLM Blog一手
