xusenlinzy GitHub avatar

api-for-open-llm

Python
开源大模型统一接口xusenlinzy最近推送 2024年9月26日
模型推理与部署Apache-2.02,45826523 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

把开源大模型包装成 OpenAI 风格接口,让现有应用直接换后端。

这是一个用 Python 写的后端服务,为各类开源大模型提供统一的推理接口,响应格式与 OpenAI 保持一致。项目支持 LLaMA、Qwen、ChatGLM、Baichuan、InternLM、DeepSeek、Yi 等模型,也支持嵌入模型和 vLLM 加速,只需改环境变量就能把开源模型当作 ChatGPT 的替代后端。

推荐指数

4.0

想用开源模型替换 OpenAI 后端、又不想改应用代码的团队,值得一试。

总 Star 排名

#1996

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月23日

核心亮点

  • 1OpenAI 兼容

    接口和响应格式对齐 OpenAI,现有 SDK 和客户端可直接调用。

  • 2模型覆盖广

    支持 LLaMA、Qwen、ChatGLM、Baichuan、InternLM、DeepSeek、Yi 等主流开源模型。

  • 3流式输出

    支持流式响应,前端可实现逐字打印效果。

  • 4嵌入模型

    内置 bge、m3e、text2vec 等嵌入模型,可支撑知识库问答。

  • 5vLLM 加速

    可选用 vLLM 推理,提升吞吐并处理并发请求。

适用场景

  • 替换 ChatGPT 后端

    例如:把内部聊天应用的 base_url 指向本地服务,模型换成 Qwen2,业务代码不改。

  • 私有化知识问答

    例如:用嵌入接口加 langchain 搭建文档问答,数据不出内网。

  • 微调模型上线

    例如:加载自己训练的 LoRA 权重,通过同一套接口对外提供服务。

它是怎么工作的

  1. 第 1 步

    选择模型

    通过 MODEL_NAME、PROMPT_NAME 等环境变量指定要加载的模型和对话模板。

  2. 第 2 步

    加载推理

    用 transformers 或 vLLM 加载模型权重,启动 HTTP 服务。

  3. 第 3 步

    统一接口

    服务把请求转换成对应模型的输入格式,并按 OpenAI 格式返回结果。

  4. 第 4 步

    客户端调用

    应用用 OpenAI SDK 指向本地地址即可对话、补全或取嵌入。

快速上手

  1. 1

    配置环境变量

    设置 OPENAI_API_KEY 为任意字符串,OPENAI_API_BASE 为后端地址加 /v1。

  2. 2

    启动服务

    按文档配置模型环境变量后启动后端,可选 vLLM 方式。

  3. 3

    调用接口

    用 OpenAI SDK 指向本地地址发起对话请求。

    client = OpenAI(api_key="EMPTY", base_url="http://192.168.20.59:7891/v1/")
  4. 4

    体验聊天界面

    进入 streamlit-demo 安装依赖并启动网页对话。

    streamlit run streamlit_app.py

适合谁

  • 想把开源模型接入现有 OpenAI 风格应用的开发者
  • 需要私有化部署大模型的后端工程师
  • 用 langchain 搭建应用的开发者

不太适合

  • 没有 GPU 环境、只想调云端 API 的用户
  • 需要开箱即用托管服务的非技术用户

成熟度

  • 活跃度最近一次提交在 2024 年 9 月,更新节奏放缓。
  • 文档README 有模型列表、启动文档和调用示例,较完整。
  • 社区约 2400 star、266 fork,开放 issue 23 个,规模中等。
  • 上手难度需自行准备模型权重和 GPU 环境,改环境变量即可切换模型。

同类项目怎么选

  • vLLM专注高性能推理和服务,本身不提供 OpenAI 兼容的模型适配层。
  • FastChat同样提供 OpenAI 兼容接口,但更偏向多模型对话与评测平台。
  • Ollama面向本地一键运行模型,接口兼容度与模型适配范围不同。

使用前注意

  • · 需要本地 GPU 和模型权重,显存要求随模型规模上升。
  • · 项目更新频率下降,新模型适配可能滞后。
  • · 采用 Apache-2.0 许可,商用前仍需确认各模型自身许可。
  • · 接口兼容 OpenAI 但不保证覆盖全部参数和特性。

主题标签

dockerlangchainllmsnlpopenaichatglmllamabaichuaninternlmllama2qwenxversesqlcodercode-llama