alibaba GitHub avatar

rtp-llm

Python
大模型推理引擎alibaba最近推送 2026年11月19日
模型推理与部署Apache-2.01,403306310 issues7 天 +9

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

阿里开源的高性能大模型推理引擎,用于部署和加速 LLM 服务。

RTP-LLM 是阿里巴巴基础模型推理团队开发的大语言模型推理加速引擎,在阿里内部广泛使用,支撑淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada 等多个业务的大模型服务。它是 havenask 项目的子项目,基于 FasterTransformer 并整合了 TensorRT-LLM 的部分内核实现。

推荐指数

4.0

有阿里内部大规模生产验证,性能优化点齐全,适合认真做 LLM 部署的团队,但上手门槛不低。

近 7 天

+9

新增 Star

总 Star 排名

#2840

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月27日

核心亮点

  • 1生产验证

    已在淘宝问问、Aidge、OpenSearch 问答版等业务中实际部署。

  • 2高性能内核

    使用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA 优化内核。

  • 3量化支持

    支持 INT8/INT4 权重量化,INT4 兼容 GPTQ 与 AWQ,另有自适应 KVCache 量化。

  • 4灵活部署

    单实例可部署多个 LoRA 服务,支持多机多卡张量并行和多模态输入。

  • 5进阶加速

    提供上下文前缀缓存、系统提示缓存和投机解码等加速手段。

适用场景

  • 在线大模型服务

    例如:为智能客服或问答产品部署 Qwen 等模型,支撑高并发请求。

  • 多 LoRA 复用

    例如:一个基础模型实例同时挂载多个业务微调的 LoRA,节省显存。

  • 多轮对话加速

    例如:利用上下文前缀缓存和系统提示缓存降低重复计算开销。

  • 国产/异构硬件部署

    例如:在倚天 ARM CPU 上运行 Qwen 系列模型和 bert 向量模型。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 HuggingFace 等来源读取 SafeTensors、Pytorch 或 Megatron 格式权重,加载时自动完成量化。

  2. 第 2 步

    调度与批处理

    调度和批处理框架用 C++ 重写,配合 GPU 显存管理做动态批处理。

  3. 第 3 步

    内核推理

    通过 PagedAttention、FlashAttention 等 CUDA 内核执行 prefill 与 decode。

  4. 第 4 步

    加速优化

    按需启用前缀缓存、投机解码、KVCache 量化等策略。

  5. 第 5 步

    对外服务

    以服务形式接收请求并返回推理结果,支持多机多卡并行。

快速上手

  1. 1

    查看安装文档

    按官方文档安装 RTP-LLM 及依赖。

  2. 2

    跑通快速开始

    参照 Quick Start 启动后端并发送第一个请求。

  3. 3

    参考后端教程

    按 Backend Tutorial 配置具体模型的部署。

  4. 4

    跑性能测试

    使用官方 Benchmark 工具评估吞吐和延迟。

适合谁

  • 需要自建 LLM 推理服务的后端/算法工程师
  • 关注推理性能和量化加速的团队
  • 有多卡、多机部署需求的场景
  • 使用 Qwen、Llama 等主流模型的开发者

不太适合

  • 只想调用 API、不做自部署的开发者
  • 不熟悉 GPU 环境和编译部署的新手

成熟度

  • 活跃度2026 年 11 月仍有提交,2025 年发布 0.2.0 版本,更新较活跃。
  • 文档有独立文档站,含安装、快速开始、后端教程和基准测试说明。
  • 社区约 1400 star、306 fork,但开放 issue 达 308 个,社区规模中等。
  • 上手难度需自行编译部署并配置 GPU 环境,README 未给出一行命令式上手方式。

同类项目怎么选

  • vLLM社区生态更大、文档更全,RTP-LLM 则强调阿里内部生产验证和特定硬件优化。
  • TensorRT-LLMNVIDIA 官方方案,RTP-LLM 借鉴了其部分内核但更贴近阿里业务需求。
  • FasterTransformerRTP-LLM 的主要基础,但后者在其上做了调度框架重写和更多量化、缓存能力。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需自行确认合规要求。
  • · 依赖 CUDA 和特定 GPU,部分能力针对 V100 做了专门优化。
  • · 开放 issue 较多,遇到问题可能需要自行排查或通过钉钉/微信群求助。
  • · README 未提供直接安装命令,需跳转官方文档按步骤操作。

主题标签

gptinferencellamallmllm-servingllmopsmodel-serving