algorithmicsuperintelligence GitHub avatar

optillm

Python
大模型推理优化代理algorithmicsuperintelligence最近推送 2026年11月16日
模型推理与部署Apache-2.04,34740120 issues7 天 +6

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个兼容 OpenAI API 的推理优化代理,无需训练即可提升大模型推理准确率。

OptiLLM 是一个优化推理的代理服务器,兼容 OpenAI API,可作为请求网关接入现有模型服务。它实现了 20 多种推理优化技术,通过增加推理时的计算量来提升模型在数学、编程和逻辑推理任务上的准确率,无需训练或微调模型。

推荐指数

4.0

适合希望低成本提升现有模型推理能力的开发者,接入简单但需理解技术选型。

近 7 天

+6

新增 Star

总 Star 排名

#1392

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年8月23日

核心亮点

  • 1零训练提升

    无需微调模型,仅通过代理调用即可在推理任务上获得 2-10 倍准确率提升。

  • 2兼容 OpenAI API

    可直接替换现有 OpenAI 客户端,只需修改 base_url 和模型名前缀。

  • 320+ 优化技术

    内置从 Best-of-N 到 MCTS、规划等多种推理优化方法,支持组合使用。

  • 4多提供商支持

    通过 LiteLLM 支持 OpenAI、Anthropic、Google、Cerebras 等 100+ 模型。

  • 5生产可用

    提供 Docker 镜像和 pip 安装,已被公司和研究者用于生产环境。

适用场景

  • 提升现有模型推理能力

    例如:将 GPT-4o-mini 通过 moa 技术代理,在数学题上达到接近 GPT-4 的效果。

  • 低成本模型优化

    例如:使用 CePO 技术让 Llama 3.3 70B 在数学基准上提升 18.6 分。

  • 多技术组合实验

    例如:通过管道组合 cot_reflection 和 moa 技术,逐步优化复杂推理任务。

它是怎么工作的

  1. 第 1 步

    启动代理服务

    运行 optillm 命令启动本地代理,默认监听 8000 端口。

  2. 第 2 步

    客户端指向代理

    将 OpenAI 客户端的 base_url 改为代理地址,模型名添加技术前缀。

  3. 第 3 步

    代理转发并优化

    代理根据模型名前缀选择优化技术,对请求进行额外计算后转发给后端模型。

  4. 第 4 步

    返回优化结果

    代理将优化后的响应返回给客户端,格式与 OpenAI API 一致。

快速上手

  1. 1

    安装

    通过 pip 安装 OptiLLM。

    pip install optillm
  2. 2

    设置密钥

    设置 OpenAI API 密钥环境变量。

    export OPENAI_API_KEY="your-key-here"
  3. 3

    启动代理

    运行 optillm 启动代理服务。

    optillm
  4. 4

    调用示例

    使用 OpenAI 客户端指向代理,模型名加技术前缀。

    client = OpenAI(base_url="http://localhost:8000/v1")
    response = client.chat.completions.create(model="moa-gpt-4o-mini", messages=[...])

适合谁

  • 希望提升现有模型推理准确率的开发者
  • 需要低成本优化模型表现的研究者
  • 使用 OpenAI 兼容 API 并想尝试多种推理技术的团队

不太适合

  • 需要完全离线且无外部 API 依赖的场景
  • 对推理延迟极度敏感且无法接受额外计算开销的应用

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数 4346,issue 仅 20 个,活跃度高。
  • 文档README 详细,包含安装、使用、技术说明和基准结果,但部分高级配置需参考外部链接。
  • 社区有 401 个 fork 和 Discussions 板块,但 issue 数较少,社区规模中等。
  • 上手难度提供 pip 和 Docker 安装,兼容 OpenAI API,上手简单,但需理解技术选型。

使用前注意

  • · 使用优化技术会增加推理时的计算量和延迟,需评估对响应时间的影响。
  • · 部分技术依赖特定模型或提供商,需确认兼容性。
  • · 代理服务需要网络访问后端 API,不适合完全离线环境。
  • · 采用 Apache-2.0 许可,可商用,但需保留版权声明。

主题标签

agentagentic-aiagentic-workflowagentsapi-gatewaygenailarge-language-modelsllmllm-inferencellmapimixture-of-expertsmoaopenaiopenai-apioptimizationproxy-serveragentic-frameworkchain-of-thoughtmonte-carlo-tree-searchprompt-engineering