AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
把开源大模型包装成 OpenAI 风格接口,让现有应用直接换后端。
这是一个用 Python 写的后端服务,为各类开源大模型提供统一的推理接口,响应格式与 OpenAI 保持一致。项目支持 LLaMA、Qwen、ChatGLM、Baichuan、InternLM、DeepSeek、Yi 等模型,也支持嵌入模型和 vLLM 加速,只需改环境变量就能把开源模型当作 ChatGPT 的替代后端。
推荐指数
想用开源模型替换 OpenAI 后端、又不想改应用代码的团队,值得一试。
总 Star 排名
#1996
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月23日
核心亮点
1OpenAI 兼容
接口和响应格式对齐 OpenAI,现有 SDK 和客户端可直接调用。
2模型覆盖广
支持 LLaMA、Qwen、ChatGLM、Baichuan、InternLM、DeepSeek、Yi 等主流开源模型。
3流式输出
支持流式响应,前端可实现逐字打印效果。
4嵌入模型
内置 bge、m3e、text2vec 等嵌入模型,可支撑知识库问答。
5vLLM 加速
可选用 vLLM 推理,提升吞吐并处理并发请求。
适用场景
替换 ChatGPT 后端
例如:把内部聊天应用的 base_url 指向本地服务,模型换成 Qwen2,业务代码不改。
私有化知识问答
例如:用嵌入接口加 langchain 搭建文档问答,数据不出内网。
微调模型上线
例如:加载自己训练的 LoRA 权重,通过同一套接口对外提供服务。
它是怎么工作的
第 1 步
选择模型
通过 MODEL_NAME、PROMPT_NAME 等环境变量指定要加载的模型和对话模板。
第 2 步
加载推理
用 transformers 或 vLLM 加载模型权重,启动 HTTP 服务。
第 3 步
统一接口
服务把请求转换成对应模型的输入格式,并按 OpenAI 格式返回结果。
第 4 步
客户端调用
应用用 OpenAI SDK 指向本地地址即可对话、补全或取嵌入。
快速上手
- 1
配置环境变量
设置 OPENAI_API_KEY 为任意字符串,OPENAI_API_BASE 为后端地址加 /v1。
- 2
启动服务
按文档配置模型环境变量后启动后端,可选 vLLM 方式。
- 3
调用接口
用 OpenAI SDK 指向本地地址发起对话请求。
client = OpenAI(api_key="EMPTY", base_url="http://192.168.20.59:7891/v1/") - 4
体验聊天界面
进入 streamlit-demo 安装依赖并启动网页对话。
streamlit run streamlit_app.py
适合谁
- 想把开源模型接入现有 OpenAI 风格应用的开发者
- 需要私有化部署大模型的后端工程师
- 用 langchain 搭建应用的开发者
不太适合
- 没有 GPU 环境、只想调云端 API 的用户
- 需要开箱即用托管服务的非技术用户
成熟度
- 活跃度最近一次提交在 2024 年 9 月,更新节奏放缓。
- 文档README 有模型列表、启动文档和调用示例,较完整。
- 社区约 2400 star、266 fork,开放 issue 23 个,规模中等。
- 上手难度需自行准备模型权重和 GPU 环境,改环境变量即可切换模型。
同类项目怎么选
- vLLM专注高性能推理和服务,本身不提供 OpenAI 兼容的模型适配层。
- FastChat同样提供 OpenAI 兼容接口,但更偏向多模型对话与评测平台。
- Ollama面向本地一键运行模型,接口兼容度与模型适配范围不同。
使用前注意
- · 需要本地 GPU 和模型权重,显存要求随模型规模上升。
- · 项目更新频率下降,新模型适配可能滞后。
- · 采用 Apache-2.0 许可,商用前仍需确认各模型自身许可。
- · 接口兼容 OpenAI 但不保证覆盖全部参数和特性。
