bentoml GitHub avatar

OpenLLM

Python
大模型部署服务框架bentoml最近推送 2026年11月17日
模型推理与部署Apache-2.012.6k85125 issues7 天 +11

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一条命令把开源大模型跑成 OpenAI 兼容 API 服务。

OpenLLM 是 BentoML 团队开源的 LLM 自托管工具,支持 Llama、Qwen、DeepSeek、Mistral 等开源模型以及自定义模型。它用一条命令启动兼容 OpenAI 接口的推理服务,并内置聊天 UI,配合 Docker 和 Kubernetes 可做云端部署。

推荐指数

4.0

想自托管开源模型并复用 OpenAI 生态的团队,值得一试。

近 7 天

+11

新增 Star

总 Star 排名

#575

雷达追踪的 3,971 个 AI 仓库中

创建于

2023

2023年4月19日

核心亮点

  • 1一条命令启动

    openllm serve 指定模型版本即可拉起服务。

  • 2OpenAI 兼容

    现有 OpenAI SDK 和工具改 base_url 即可接入。

  • 3内置聊天 UI

    服务启动后访问 /chat 可直接对话测试。

  • 4模型目录管理

    通过模型仓库列出、更新和查看可用模型。

  • 5云原生部署

    README 称支持 Docker 和 Kubernetes 部署流程。

适用场景

  • 本地快速验证模型

    例如:运行 openllm serve llama3.2:1b,用 OpenAI Python 客户端调用本地 3000 端口。

  • 替换闭源 API

    例如:把应用里的 OpenAI base_url 指向自托管服务,继续用原 SDK 调用。

  • 团队内部模型服务

    例如:在 GPU 服务器上部署 Qwen2.5,供内部工具统一调用。

  • 命令行对话调试

    例如:用 openllm run llama3:8b 在终端直接和模型聊天。

它是怎么工作的

  1. 第 1 步

    选择模型

    从默认模型仓库或自定义仓库中指定模型和版本。

  2. 第 2 步

    拉取权重

    OpenLLM 本身不存权重,从 Hugging Face 获取,受限模型需配置 HF_TOKEN。

  3. 第 3 步

    启动服务

    openllm serve 在本地 3000 端口启动推理服务。

  4. 第 4 步

    客户端调用

    通过 OpenAI 兼容的 /v1 接口或内置 /chat 页面使用。

快速上手

  1. 1

    安装

    通过 pip 安装 OpenLLM。

    pip install openllm
  2. 2

    交互体验

    运行 hello 命令快速探索。

    openllm hello
  3. 3

    启动服务

    以 llama3.2:1b 为例启动本地 API 服务。

    openllm serve llama3.2:1b
  4. 4

    客户端调用

    用 OpenAI Python 客户端把 base_url 指向 http://localhost:3000/v1 即可调用。

适合谁

  • 需要自托管开源 LLM 的开发者
  • 希望复用 OpenAI SDK 和工具链的团队
  • 有 GPU 资源并需要云上部署的团队

不太适合

  • 没有 GPU 或不想管理模型权重的个人
  • 只需要调用闭源 API 的用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仓库仍在维护。
  • 文档README 覆盖安装、启动、模型列表和客户端调用示例。
  • 社区约 1.26 万 star、849 fork,开放 issue 仅 24 个。
  • 上手难度一条命令即可启动,但需要 GPU 和 Hugging Face 令牌。

同类项目怎么选

  • vLLM更偏重高吞吐推理引擎,OpenLLM 更强调开箱即用的 OpenAI 兼容服务和部署流程。
  • OllamaOllama 主打本地桌面体验,OpenLLM 面向云端服务和团队部署。
  • LocalAILocalAI 覆盖更多模型类型,OpenLLM 专注开源 LLM 的托管与 API 化。

使用前注意

  • · OpenLLM 不存储模型权重,受限模型需要自行申请 Hugging Face 访问权限并配置 HF_TOKEN。
  • · 不同模型对 GPU 显存要求差异大,大参数模型需要多卡。
  • · 采用 Apache-2.0 许可,商用前仍需确认所托管模型自身的许可证。

主题标签

llmllmopsmodel-inferencefine-tuningllm-servingllamavicunabentomlllama2llm-inferencellm-opsopen-source-llmopenllmmistralmlopsllama3-1llama3-2llama3-2-vision