PaddlePaddle GitHub avatar

FastDeploy

Python
大模型推理部署工具PaddlePaddle最近推送 2026年9月24日
模型推理与部署Apache-2.03,722756590 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

飞桨生态下的大模型推理部署工具包,一条命令起 OpenAI 兼容服务。

FastDeploy 是 PaddlePaddle 官方的大语言模型与视觉语言模型推理部署套件,提供开箱即用的生产级部署方案。它支持 PD 分离、KV 缓存传输、多种量化格式和投机解码,并兼容 vLLM 接口与 OpenAI API。

推荐指数

4.0

飞桨技术栈下做 LLM/VLM 生产部署的实用选择,尤其适合国产硬件与 ERNIE 系列模型。

总 Star 排名

#1538

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年6月27日

核心亮点

  • 1PD 分离部署

    负载均衡式预填充与解码分离,支持上下文缓存和动态角色切换。

  • 2OpenAI 兼容服务

    单命令启动服务,接口与 vLLM 兼容,便于接入现有调用代码。

  • 3全量化格式

    覆盖 W8A16、W8A8、W4A16、W4A8、W2A16、FP8 等量化方式。

  • 4多硬件支持

    除 NVIDIA GPU 外,还支持昆仑芯、海光、天数、燧原、沐曦、英特尔 Gaudi。

  • 5加速技术齐全

    提供推测解码、多令牌预测 MTP、分块预填充和前缀缓存。

适用场景

  • ERNIE 系列模型上线

    例如:用 FastDeploy 部署 ERNIE-4.5 或 ERNIE-4.5-VL,对外提供 OpenAI 风格接口。

  • 国产硬件推理

    例如:在昆仑芯 XPU 或海光 DCU 上部署 LLM,利用官方安装文档完成环境配置。

  • 高吞吐在线服务

    例如:开启 PD 分离与负载均衡 Router,在保障 SLO 的同时提升资源利用率。

  • 模型量化压缩

    例如:对模型做 W4A8 或 FP8 量化后部署,降低显存占用并提升推理速度。

它是怎么工作的

  1. 第 1 步

    安装环境

    按目标硬件选择对应安装文档,在 Linux + Python 3.10~3.12 下安装 FastDeploy。

  2. 第 2 步

    准备模型

    从支持列表选择模型,按文档下载或转换格式。

  3. 第 3 步

    启动服务

    通过命令行启动 OpenAI 兼容的在线服务,或编写脚本做离线推理。

  4. 第 4 步

    按需调优

    按场景开启量化、PD 分离、投机解码、前缀缓存等进阶特性。

快速上手

  1. 1

    查看安装指导

    按硬件平台选择 NVIDIA GPU、昆仑芯 XPU 等安装文档。

  2. 2

    阅读快速入门

    跟随 10 分钟快速部署文档完成首次服务启动。

  3. 3

    部署目标模型

    参考 ERNIE-4.5 或 ERNIE-4.5-VL 部署文档加载模型。

  4. 4

    调用服务

    服务启动后通过 OpenAI 兼容接口发起请求。

适合谁

  • 使用飞桨或 ERNIE 系列模型的团队
  • 需要在国产加速卡上部署 LLM 的开发者
  • 要搭建 OpenAI 兼容推理服务的后端工程师
  • 关注 PD 分离、量化等推理优化的技术人员

不太适合

  • 只使用 PyTorch 生态且不打算引入飞桨的团队
  • 需要 Windows 或 macOS 本地部署的开发者

成熟度

  • 活跃度2026 年 9 月仍有提交,版本按 v2.x 持续迭代并发布 ReleaseNote。
  • 文档安装、快速入门、模型列表、进阶特性均有中文文档。
  • 社区约 3.7k star、756 fork,但开放 issue 约 590 个,维护压力可见。
  • 上手难度单命令部署较方便,但需按硬件选安装方式,且仅支持 Linux。

同类项目怎么选

  • vLLMFastDeploy 接口兼容 vLLM,但底层基于飞桨,并额外支持国产硬件。
  • SGLangSGLang 主打结构化生成与 RadixAttention,FastDeploy 更贴近飞桨模型与国产芯片。
  • TensorRT-LLMTensorRT-LLM 面向 NVIDIA GPU 深度优化,FastDeploy 覆盖更多硬件平台。

使用前注意

  • · 仅支持 Linux 系统,Python 版本限定 3.10~3.12。
  • · 不同硬件平台安装方式不同,需先确认加速卡与驱动兼容性。
  • · 项目基于飞桨生态,模型支持范围以官方列表为准。
  • · 采用 Apache-2.0 许可,部分代码参考自 vLLM。

主题标签

servingerniellminferencellm-servingopenaivllmernie-45ernie-45-vl