AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
压缩、部署和服务大语言模型的工具包,提升推理吞吐。
LMDeploy 是用于压缩、部署和服务大语言模型(LLM)的工具包,由 MMRazor 和 MMDeploy 团队开发。它提供高效推理能力,官方称请求吞吐量最高可达 vLLM 的 1.8 倍,并支持 4-bit 量化、多模态模型和多种推理引擎。
推荐指数
适合需要高性能 LLM 推理服务的开发者,功能全面但需注意 GPU 环境与版本兼容性。
近 7 天
+9
新增 Star
总 Star 排名
#826
雷达追踪的 3,971 个 AI 仓库中
创建于
2023
2023年6月15日
核心亮点
1高效推理
通过持续批处理等特性,官方称吞吐量最高可达 vLLM 的 1.8 倍。
24-bit 量化
支持 AWQ 等算法进行 4-bit 权重量化,降低显存占用并提升速度。
3多引擎支持
提供 TurboMind 和 PyTorch 两种推理引擎,兼顾性能与灵活性。
4多模态支持
支持 InternVL、LLaVA 等视觉语言模型的推理与服务。
5广泛模型兼容
覆盖 Llama、Qwen、DeepSeek、InternLM 等主流模型系列。
适用场景
本地部署 LLM 服务
例如:使用 lmdeploy serve api_server 启动兼容 OpenAI 接口的推理服务。
显存受限环境推理
例如:对 Llama3-8B 进行 4-bit 量化后部署,减少显存占用。
多模态模型推理
例如:部署 InternVL 模型进行图像问答或描述生成。
高并发 API 服务
例如:利用持续批处理特性支撑多个用户同时请求。
它是怎么工作的
第 1 步
模型量化
使用 AWQ 等算法将模型权重量化为 4-bit,降低显存需求。
第 2 步
选择推理引擎
TurboMind 引擎针对性能优化,PyTorch 引擎便于实验和扩展。
第 3 步
加载模型
支持直接加载 Hugging Face 格式模型或量化后的模型。
第 4 步
启动服务
通过命令行或 Python API 启动推理服务,提供 OpenAI 兼容接口。
快速上手
- 1
安装
通过 pip 安装 LMDeploy。
pip install lmdeploy - 2
启动服务
使用命令行启动 API 服务器,指定模型路径。
lmdeploy serve api_server <model_path> - 3
调用接口
服务启动后,通过 OpenAI 兼容的 HTTP 接口发送请求。
适合谁
- 需要高性能 LLM 推理服务的开发者
- 希望降低显存占用部署大模型的团队
- 需要兼容 OpenAI 接口的 API 服务搭建者
- 研究多模态模型推理的工程师
不太适合
- 没有 NVIDIA GPU 或昇腾硬件的用户
- 仅需简单本地推理、不想配置服务的初学者
成熟度
- 活跃度最近更新于 2026 年 11 月,持续活跃开发。
- 文档提供完整文档、快速开始和多种语言 README。
- 社区8k+ star,781 fork,但开放 issue 较多(652)。
- 上手难度pip 安装简单,但高性能推理需配置 GPU 环境和量化步骤。
同类项目怎么选
- vLLM同样专注于 LLM 推理服务,LMDeploy 官方称吞吐量更高,且提供 TurboMind 引擎和 4-bit 量化工具链。
- TensorRT-LLMNVIDIA 官方推理库,深度绑定 TensorRT 生态,LMDeploy 更轻量且支持多种后端。
- llama.cpp侧重 CPU 和边缘设备推理,LMDeploy 主要面向 GPU 服务器端高吞吐场景。
使用前注意
- · 主要面向 NVIDIA GPU,部分功能支持华为昇腾,其他硬件支持有限。
- · 4-bit 量化可能带来精度损失,需根据任务评估。
- · 开放 issue 数量较多,遇到问题可能需要自行排查或等待社区响应。
- · 使用前需确认模型和硬件与当前版本的兼容性。
