InternLM GitHub avatar

lmdeploy

Python
大模型推理部署工具InternLM最近推送 2026年11月19日
模型推理与部署Apache-2.08,150785669 issues7 天 +9

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

压缩、部署和服务大语言模型的工具包,提升推理吞吐。

LMDeploy 是用于压缩、部署和服务大语言模型(LLM)的工具包,由 MMRazor 和 MMDeploy 团队开发。它提供高效推理能力,官方称请求吞吐量最高可达 vLLM 的 1.8 倍,并支持 4-bit 量化、多模态模型和多种推理引擎。

推荐指数

4.0

适合需要高性能 LLM 推理服务的开发者,功能全面但需注意 GPU 环境与版本兼容性。

近 7 天

+9

新增 Star

总 Star 排名

#826

雷达追踪的 3,971 个 AI 仓库中

创建于

2023

2023年6月15日

核心亮点

  • 1高效推理

    通过持续批处理等特性,官方称吞吐量最高可达 vLLM 的 1.8 倍。

  • 24-bit 量化

    支持 AWQ 等算法进行 4-bit 权重量化,降低显存占用并提升速度。

  • 3多引擎支持

    提供 TurboMind 和 PyTorch 两种推理引擎,兼顾性能与灵活性。

  • 4多模态支持

    支持 InternVL、LLaVA 等视觉语言模型的推理与服务。

  • 5广泛模型兼容

    覆盖 Llama、Qwen、DeepSeek、InternLM 等主流模型系列。

适用场景

  • 本地部署 LLM 服务

    例如:使用 lmdeploy serve api_server 启动兼容 OpenAI 接口的推理服务。

  • 显存受限环境推理

    例如:对 Llama3-8B 进行 4-bit 量化后部署,减少显存占用。

  • 多模态模型推理

    例如:部署 InternVL 模型进行图像问答或描述生成。

  • 高并发 API 服务

    例如:利用持续批处理特性支撑多个用户同时请求。

它是怎么工作的

  1. 第 1 步

    模型量化

    使用 AWQ 等算法将模型权重量化为 4-bit,降低显存需求。

  2. 第 2 步

    选择推理引擎

    TurboMind 引擎针对性能优化,PyTorch 引擎便于实验和扩展。

  3. 第 3 步

    加载模型

    支持直接加载 Hugging Face 格式模型或量化后的模型。

  4. 第 4 步

    启动服务

    通过命令行或 Python API 启动推理服务,提供 OpenAI 兼容接口。

快速上手

  1. 1

    安装

    通过 pip 安装 LMDeploy。

    pip install lmdeploy
  2. 2

    启动服务

    使用命令行启动 API 服务器,指定模型路径。

    lmdeploy serve api_server <model_path>
  3. 3

    调用接口

    服务启动后,通过 OpenAI 兼容的 HTTP 接口发送请求。

适合谁

  • 需要高性能 LLM 推理服务的开发者
  • 希望降低显存占用部署大模型的团队
  • 需要兼容 OpenAI 接口的 API 服务搭建者
  • 研究多模态模型推理的工程师

不太适合

  • 没有 NVIDIA GPU 或昇腾硬件的用户
  • 仅需简单本地推理、不想配置服务的初学者

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续活跃开发。
  • 文档提供完整文档、快速开始和多种语言 README。
  • 社区8k+ star,781 fork,但开放 issue 较多(652)。
  • 上手难度pip 安装简单,但高性能推理需配置 GPU 环境和量化步骤。

同类项目怎么选

  • vLLM同样专注于 LLM 推理服务,LMDeploy 官方称吞吐量更高,且提供 TurboMind 引擎和 4-bit 量化工具链。
  • TensorRT-LLMNVIDIA 官方推理库,深度绑定 TensorRT 生态,LMDeploy 更轻量且支持多种后端。
  • llama.cpp侧重 CPU 和边缘设备推理,LMDeploy 主要面向 GPU 服务器端高吞吐场景。

使用前注意

  • · 主要面向 NVIDIA GPU,部分功能支持华为昇腾,其他硬件支持有限。
  • · 4-bit 量化可能带来精度损失,需根据任务评估。
  • · 开放 issue 数量较多,遇到问题可能需要自行排查或等待社区响应。
  • · 使用前需确认模型和硬件与当前版本的兼容性。

主题标签

cuda-kernelsdeepspeedfastertransformerllm-inferenceturbomindinternlmllamallmcodellamallama2llama3