进行中

Tideway:消费设备上的MoE推理内存管理

报道
1
信源
1
首次报道
11/19 08:00
最近更新
11/19 08:00

论文作者发布并开源了 Tideway,一个面向内存受限消费级设备的大型 MoE 模型推理系统。作者称,该系统把主机 RAM 与 GPU VRAM 视为统一内存池,并针对 prefill 与 decode 两种阶段的不同访问模式采用相位感知内存布局,同时在专家分页下优化 CUDA Graph 执行,从而让大型 MoE 模型能在消费级设备上高效推理。 上述效果来自作者在论文中的陈述,报道未给出具体的设备配置、模型规模或性能对比数据。

最新进展Tideway:面向消费级设备 MoE 推理的相位感知分层内存管理

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. Tideway:面向消费设备的MoE推理分层内存管理

    Hugging Face 每日论文 等 1 篇报道

全部报道1 篇

#推理能力#开源生态#部署工程#论文研究