进行中

vLLM 在 AMD GPU 上用 FlyDSL MonoKernel 降低解码延迟

报道
1
信源
1
首次报道
11/18 08:00
最近更新
11/18 08:00

vLLM 官方博客介绍了一种用 FlyDSL 编写的 MonoKernel 方案,用于在 AMD Instinct GPU 上降低交互式 LLM 服务的解码延迟。该方案把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据,减少内核启动与等待开销。 该路径默认关闭,需用 --monokernel 开启;内核无法服务的部署会在启动时失败并列出全部原因,更宽的步骤仍走原有路径。若没有 scaled FP4/FP8 MFMA,内核会保留自己的权重副本:以 DeepSeek-V4.1-Flash 在 TP4 下为例,每 rank 占用 170 GiB,而非 99 GiB。上述延迟降低效果来自 vLLM 博客的介绍,并非独立验证的结论。

最新进展vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的解码延迟

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

官方一手信息1 篇

  • vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的解码延迟

    vLLM 官方博客介绍用 FlyDSL 编写的 MonoKernel 在 AMD Instinct GPU 上降低交互式解码延迟,把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据减少内核启动与等待开销。

    vLLM Blog一手

全部报道1 篇

  • vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的解码延迟

    vLLM 官方博客介绍用 FlyDSL 编写的 MonoKernel 在 AMD Instinct GPU 上降低交互式解码延迟,把解码层内的多个算子合并为少量持久化 launch,通过复用线程块、预取权重和带标记的 mailbox 传递数据减少内核启动与等待开销。

    vLLM Blog一手

#推理能力#部署工程#教程实践