AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
飞桨生态下的大模型推理部署工具包,一条命令起 OpenAI 兼容服务。
FastDeploy 是 PaddlePaddle 官方的大语言模型与视觉语言模型推理部署套件,提供开箱即用的生产级部署方案。它支持 PD 分离、KV 缓存传输、多种量化格式和投机解码,并兼容 vLLM 接口与 OpenAI API。
推荐指数
飞桨技术栈下做 LLM/VLM 生产部署的实用选择,尤其适合国产硬件与 ERNIE 系列模型。
总 Star 排名
#1538
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年6月27日
核心亮点
1PD 分离部署
负载均衡式预填充与解码分离,支持上下文缓存和动态角色切换。
2OpenAI 兼容服务
单命令启动服务,接口与 vLLM 兼容,便于接入现有调用代码。
3全量化格式
覆盖 W8A16、W8A8、W4A16、W4A8、W2A16、FP8 等量化方式。
4多硬件支持
除 NVIDIA GPU 外,还支持昆仑芯、海光、天数、燧原、沐曦、英特尔 Gaudi。
5加速技术齐全
提供推测解码、多令牌预测 MTP、分块预填充和前缀缓存。
适用场景
ERNIE 系列模型上线
例如:用 FastDeploy 部署 ERNIE-4.5 或 ERNIE-4.5-VL,对外提供 OpenAI 风格接口。
国产硬件推理
例如:在昆仑芯 XPU 或海光 DCU 上部署 LLM,利用官方安装文档完成环境配置。
高吞吐在线服务
例如:开启 PD 分离与负载均衡 Router,在保障 SLO 的同时提升资源利用率。
模型量化压缩
例如:对模型做 W4A8 或 FP8 量化后部署,降低显存占用并提升推理速度。
它是怎么工作的
第 1 步
安装环境
按目标硬件选择对应安装文档,在 Linux + Python 3.10~3.12 下安装 FastDeploy。
第 2 步
准备模型
从支持列表选择模型,按文档下载或转换格式。
第 3 步
启动服务
通过命令行启动 OpenAI 兼容的在线服务,或编写脚本做离线推理。
第 4 步
按需调优
按场景开启量化、PD 分离、投机解码、前缀缓存等进阶特性。
快速上手
- 1
查看安装指导
按硬件平台选择 NVIDIA GPU、昆仑芯 XPU 等安装文档。
- 2
阅读快速入门
跟随 10 分钟快速部署文档完成首次服务启动。
- 3
部署目标模型
参考 ERNIE-4.5 或 ERNIE-4.5-VL 部署文档加载模型。
- 4
调用服务
服务启动后通过 OpenAI 兼容接口发起请求。
适合谁
- 使用飞桨或 ERNIE 系列模型的团队
- 需要在国产加速卡上部署 LLM 的开发者
- 要搭建 OpenAI 兼容推理服务的后端工程师
- 关注 PD 分离、量化等推理优化的技术人员
不太适合
- 只使用 PyTorch 生态且不打算引入飞桨的团队
- 需要 Windows 或 macOS 本地部署的开发者
成熟度
- 活跃度2026 年 9 月仍有提交,版本按 v2.x 持续迭代并发布 ReleaseNote。
- 文档安装、快速入门、模型列表、进阶特性均有中文文档。
- 社区约 3.7k star、756 fork,但开放 issue 约 590 个,维护压力可见。
- 上手难度单命令部署较方便,但需按硬件选安装方式,且仅支持 Linux。
同类项目怎么选
- vLLMFastDeploy 接口兼容 vLLM,但底层基于飞桨,并额外支持国产硬件。
- SGLangSGLang 主打结构化生成与 RadixAttention,FastDeploy 更贴近飞桨模型与国产芯片。
- TensorRT-LLMTensorRT-LLM 面向 NVIDIA GPU 深度优化,FastDeploy 覆盖更多硬件平台。
使用前注意
- · 仅支持 Linux 系统,Python 版本限定 3.10~3.12。
- · 不同硬件平台安装方式不同,需先确认加速卡与驱动兼容性。
- · 项目基于飞桨生态,模型支持范围以官方列表为准。
- · 采用 Apache-2.0 许可,部分代码参考自 vLLM。
