vllm-project GitHub avatar

vllm

Python
大模型高效推理引擎vllm-project最近推送 2026年11月19日
模型推理与部署Apache-2.097.2k25.0k10.6k issues7 天 +415

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

高吞吐、省显存的大模型推理与服务引擎,兼容 OpenAI 接口。

vLLM 是一个用于大语言模型推理和服务的 Python 库,最初由加州大学伯克利分校 Sky Computing Lab 开发,现由 2000 多名贡献者共同维护。它通过 PagedAttention 管理注意力键值显存、连续批处理请求,并提供 OpenAI 兼容 API 服务,支持 Hugging Face 上 200 多种模型架构。

推荐指数

5.0

生产级 LLM 推理部署的主流选择,生态和硬件支持都很广。

近 7 天

+415

新增 Star

总 Star 排名

#33

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年2月9日

核心亮点

  • 1PagedAttention 省显存

    用分页方式管理注意力 KV 缓存,减少显存浪费。

  • 2连续批处理

    动态合并请求,提升服务吞吐,并支持分块预填充和前缀缓存。

  • 3兼容 OpenAI 接口

    自带 OpenAI 兼容 API 服务,另支持 Anthropic Messages API 和 gRPC。

  • 4量化与加速丰富

    支持 FP8、INT8/INT4、GPTQ/AWQ、GGUF 等多种量化及推测解码。

  • 5硬件覆盖广

    支持 NVIDIA、AMD、Intel GPU 和 CPU,并有 TPU、昇腾等插件。

适用场景

  • 自建模型 API 服务

    例如:用 vLLM 启动 OpenAI 兼容服务,把内部微调模型暴露给现有应用调用。

  • 高并发在线推理

    例如:面向聊天产品部署 Qwen 或 Llama,靠连续批处理承载多用户请求。

  • 多模态与 MoE 模型部署

    例如:部署 DeepSeek-V3 或 LLaVA 等模型,利用专家并行和多模态支持。

  • 多 LoRA 微调服务

    例如:在同一基座模型上挂载多个 LoRA 适配器,服务不同业务线。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 Hugging Face 拉取权重,按硬件选择精度和并行策略。

  2. 第 2 步

    管理显存

    PagedAttention 以分页方式分配 KV 缓存,减少碎片和浪费。

  3. 第 3 步

    调度请求

    连续批处理把新请求动态插入批次,配合分块预填充和前缀缓存。

  4. 第 4 步

    执行推理

    使用 FlashAttention、CUTLASS 等优化内核和 CUDA/HIP 图加速。

  5. 第 5 步

    对外服务

    通过 OpenAI 兼容 API 或 gRPC 输出流式结果。

快速上手

  1. 1

    安装

    推荐用 uv 安装,并下载预编译内核加快启动。

    uv pip install vllm
    vllm download-kernels
  2. 2

    查看文档

    按官方安装和快速开始文档配置环境。

  3. 3

    启动服务

    README 未给出启动命令,需参考官方 Quickstart 文档。

适合谁

  • 需要自建 LLM 推理服务的后端/ML 工程师
  • 关注吞吐和显存成本的大模型部署团队
  • 需要多硬件、多模型支持的平台开发者

不太适合

  • 只想调用现成 API、不做本地部署的开发者
  • 没有 GPU 资源、仅做轻量试验的个人用户

成熟度

  • 活跃度近 10 万 star,最后提交在 2026 年 11 月,更新频繁。
  • 文档有独立文档站、博客、论文和快速开始指南。
  • 社区2000 多名贡献者,有论坛、Slack 和大量 issue 讨论。
  • 上手难度pip 安装即可用,但生产部署涉及并行和显存调优,有一定门槛。

同类项目怎么选

  • SGLang同样面向高吞吐 LLM 服务,侧重结构化生成和运行时优化。
  • TensorRT-LLMNVIDIA 官方推理库,偏重 NVIDIA GPU 上的极致性能编译优化。
  • Ollama更偏本地单机易用部署,吞吐和分布式能力不如 vLLM。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 主要面向 GPU 推理,CPU 等后端性能和功能有限。
  • · 开源 issue 数量超过 1 万,遇到问题需自行排查或查文档。
  • · 生产部署需规划显存、并行策略和硬件兼容性。

主题标签

gptllmpytorchmodel-servingtransformerllm-servinginferencellamaamdcudatpudeepseekqwenblackwelldeepseek-v3gpt-osskimimoeopenaiqwen3