AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一个兼容 OpenAI API 的推理优化代理,无需训练即可提升大模型推理准确率。
OptiLLM 是一个优化推理的代理服务器,兼容 OpenAI API,可作为请求网关接入现有模型服务。它实现了 20 多种推理优化技术,通过增加推理时的计算量来提升模型在数学、编程和逻辑推理任务上的准确率,无需训练或微调模型。
推荐指数
适合希望低成本提升现有模型推理能力的开发者,接入简单但需理解技术选型。
近 7 天
+6
新增 Star
总 Star 排名
#1392
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年8月23日
核心亮点
1零训练提升
无需微调模型,仅通过代理调用即可在推理任务上获得 2-10 倍准确率提升。
2兼容 OpenAI API
可直接替换现有 OpenAI 客户端,只需修改 base_url 和模型名前缀。
320+ 优化技术
内置从 Best-of-N 到 MCTS、规划等多种推理优化方法,支持组合使用。
4多提供商支持
通过 LiteLLM 支持 OpenAI、Anthropic、Google、Cerebras 等 100+ 模型。
5生产可用
提供 Docker 镜像和 pip 安装,已被公司和研究者用于生产环境。
适用场景
提升现有模型推理能力
例如:将 GPT-4o-mini 通过 moa 技术代理,在数学题上达到接近 GPT-4 的效果。
低成本模型优化
例如:使用 CePO 技术让 Llama 3.3 70B 在数学基准上提升 18.6 分。
多技术组合实验
例如:通过管道组合 cot_reflection 和 moa 技术,逐步优化复杂推理任务。
它是怎么工作的
第 1 步
启动代理服务
运行 optillm 命令启动本地代理,默认监听 8000 端口。
第 2 步
客户端指向代理
将 OpenAI 客户端的 base_url 改为代理地址,模型名添加技术前缀。
第 3 步
代理转发并优化
代理根据模型名前缀选择优化技术,对请求进行额外计算后转发给后端模型。
第 4 步
返回优化结果
代理将优化后的响应返回给客户端,格式与 OpenAI API 一致。
快速上手
- 1
安装
通过 pip 安装 OptiLLM。
pip install optillm - 2
设置密钥
设置 OpenAI API 密钥环境变量。
export OPENAI_API_KEY="your-key-here" - 3
启动代理
运行 optillm 启动代理服务。
optillm - 4
调用示例
使用 OpenAI 客户端指向代理,模型名加技术前缀。
client = OpenAI(base_url="http://localhost:8000/v1") response = client.chat.completions.create(model="moa-gpt-4o-mini", messages=[...])
适合谁
- 希望提升现有模型推理准确率的开发者
- 需要低成本优化模型表现的研究者
- 使用 OpenAI 兼容 API 并想尝试多种推理技术的团队
不太适合
- 需要完全离线且无外部 API 依赖的场景
- 对推理延迟极度敏感且无法接受额外计算开销的应用
成熟度
- 活跃度最近更新于 2026 年 11 月,star 数 4346,issue 仅 20 个,活跃度高。
- 文档README 详细,包含安装、使用、技术说明和基准结果,但部分高级配置需参考外部链接。
- 社区有 401 个 fork 和 Discussions 板块,但 issue 数较少,社区规模中等。
- 上手难度提供 pip 和 Docker 安装,兼容 OpenAI API,上手简单,但需理解技术选型。
使用前注意
- · 使用优化技术会增加推理时的计算量和延迟,需评估对响应时间的影响。
- · 部分技术依赖特定模型或提供商,需确认兼容性。
- · 代理服务需要网络访问后端 API,不适合完全离线环境。
- · 采用 Apache-2.0 许可,可商用,但需保留版权声明。
