进行中
Tideway:消费设备上的MoE推理内存管理
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/19 08:00
- 最近更新
- 11/19 08:00
论文作者发布并开源了 Tideway,一个面向内存受限消费级设备的大型 MoE 模型推理系统。作者称,该系统把主机 RAM 与 GPU VRAM 视为统一内存池,并针对 prefill 与 decode 两种阶段的不同访问模式采用相位感知内存布局,同时在专家分页下优化 CUDA Graph 执行,从而让大型 MoE 模型能在消费级设备上高效推理。 上述效果来自作者在论文中的陈述,报道未给出具体的设备配置、模型规模或性能对比数据。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Hugging Face 每日论文 等 1 篇报道
全部报道1 篇
Tideway:面向消费级设备 MoE 推理的相位感知分层内存管理
Tideway 将主机 RAM 与 GPU VRAM 视为统一内存池,结合适配 prefill 与 decode 不同访问模式的相位感知内存布局,以及专家分页下的 CUDA Graph 执行优化,让大型 MoE 模型能在内存受限的消费级设备上高效推理。
Hugging Face 每日论文
相关
#推理能力#开源生态#部署工程#论文研究
