AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一条命令把开源大模型跑成 OpenAI 兼容 API 服务。
OpenLLM 是 BentoML 团队开源的 LLM 自托管工具,支持 Llama、Qwen、DeepSeek、Mistral 等开源模型以及自定义模型。它用一条命令启动兼容 OpenAI 接口的推理服务,并内置聊天 UI,配合 Docker 和 Kubernetes 可做云端部署。
推荐指数
想自托管开源模型并复用 OpenAI 生态的团队,值得一试。
近 7 天
+11
新增 Star
总 Star 排名
#575
雷达追踪的 3,971 个 AI 仓库中
创建于
2023
2023年4月19日
核心亮点
1一条命令启动
openllm serve 指定模型版本即可拉起服务。
2OpenAI 兼容
现有 OpenAI SDK 和工具改 base_url 即可接入。
3内置聊天 UI
服务启动后访问 /chat 可直接对话测试。
4模型目录管理
通过模型仓库列出、更新和查看可用模型。
5云原生部署
README 称支持 Docker 和 Kubernetes 部署流程。
适用场景
本地快速验证模型
例如:运行 openllm serve llama3.2:1b,用 OpenAI Python 客户端调用本地 3000 端口。
替换闭源 API
例如:把应用里的 OpenAI base_url 指向自托管服务,继续用原 SDK 调用。
团队内部模型服务
例如:在 GPU 服务器上部署 Qwen2.5,供内部工具统一调用。
命令行对话调试
例如:用 openllm run llama3:8b 在终端直接和模型聊天。
它是怎么工作的
第 1 步
选择模型
从默认模型仓库或自定义仓库中指定模型和版本。
第 2 步
拉取权重
OpenLLM 本身不存权重,从 Hugging Face 获取,受限模型需配置 HF_TOKEN。
第 3 步
启动服务
openllm serve 在本地 3000 端口启动推理服务。
第 4 步
客户端调用
通过 OpenAI 兼容的 /v1 接口或内置 /chat 页面使用。
快速上手
- 1
安装
通过 pip 安装 OpenLLM。
pip install openllm - 2
交互体验
运行 hello 命令快速探索。
openllm hello - 3
启动服务
以 llama3.2:1b 为例启动本地 API 服务。
openllm serve llama3.2:1b - 4
客户端调用
用 OpenAI Python 客户端把 base_url 指向 http://localhost:3000/v1 即可调用。
适合谁
- 需要自托管开源 LLM 的开发者
- 希望复用 OpenAI SDK 和工具链的团队
- 有 GPU 资源并需要云上部署的团队
不太适合
- 没有 GPU 或不想管理模型权重的个人
- 只需要调用闭源 API 的用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,仓库仍在维护。
- 文档README 覆盖安装、启动、模型列表和客户端调用示例。
- 社区约 1.26 万 star、849 fork,开放 issue 仅 24 个。
- 上手难度一条命令即可启动,但需要 GPU 和 Hugging Face 令牌。
同类项目怎么选
- vLLM更偏重高吞吐推理引擎,OpenLLM 更强调开箱即用的 OpenAI 兼容服务和部署流程。
- OllamaOllama 主打本地桌面体验,OpenLLM 面向云端服务和团队部署。
- LocalAILocalAI 覆盖更多模型类型,OpenLLM 专注开源 LLM 的托管与 API 化。
使用前注意
- · OpenLLM 不存储模型权重,受限模型需要自行申请 Hugging Face 访问权限并配置 HF_TOKEN。
- · 不同模型对 GPU 显存要求差异大,大参数模型需要多卡。
- · 采用 Apache-2.0 许可,商用前仍需确认所托管模型自身的许可证。
