论文39
Tideway:面向消费级设备 MoE 推理的相位感知分层内存管理
原标题:Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices
Tideway 将主机 RAM 与 GPU VRAM 视为统一内存池,结合适配 prefill 与 decode 不同访问模式的相位感知内存布局,以及专家分页下的 CUDA Graph 执行优化,让大型 MoE 模型能在内存受限的消费级设备上高效推理。
来源仅允许展示摘要,全文请到原文阅读。
