bricks-cloud GitHub avatar

BricksLLM

Go
LLM 成本限流网关bricks-cloud最近推送 2025年1月6日
模型推理与部署MIT1,2329822 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个用 Go 写的 AI 网关,为 LLM API 提供按密钥的成本和速率限制。

BricksLLM 是一个云原生 AI 网关,用 Go 编写,支持 OpenAI、Anthropic、Azure OpenAI 和 vLLM 等提供商。它帮助你在生产环境中监控和控制 LLM 使用,可以按用户、应用或环境设置成本与速率限制,并提供细粒度访问控制和请求分析。

推荐指数

4.0

适合需要为 LLM API 做成本与权限管控的团队,部署简单,功能实用。

总 Star 排名

#3088

雷达追踪的 3,931 个 AI 仓库中

创建于

2023

2023年7月19日

核心亮点

  • 1成本与速率限制

    可为每个 API 密钥设置消费上限和请求频率限制。

  • 2多提供商支持

    原生支持 OpenAI、Anthropic、Azure OpenAI 和 vLLM。

  • 3PII 检测与脱敏

    可识别并屏蔽请求中的个人身份信息。

  • 4故障转移与重试

    支持缓存、重试和故障转移,提升 LLM 调用可靠性。

  • 5细粒度访问控制

    可控制模型和端点的访问权限。

适用场景

  • 多租户 SaaS 应用

    例如:为不同定价套餐的用户设置不同的 LLM 使用限额。

  • 内部开发与生产

    例如:给团队成员分发带速率和成本限制的 API 密钥。

  • 教育或培训场景

    例如:为学生分配有使用上限的 API 密钥,控制成本。

  • 合规与隐私保护

    例如:在请求发送到 LLM 前自动检测并脱敏 PII。

它是怎么工作的

  1. 第 1 步

    部署服务

    通过 Docker Compose 启动 BricksLLM 及 PostgreSQL、Redis。

  2. 第 2 步

    配置提供商

    创建提供商设置,填入 OpenAI 等平台的 API 密钥。

  3. 第 3 步

    创建受限密钥

    生成 Bricks API 密钥,并设置速率和成本限制。

  4. 第 4 步

    重定向请求

    将 LLM 请求的 baseURL 指向 BricksLLM 网关地址。

  5. 第 5 步

    监控与分析

    通过 API 或集成 Datadog 查看使用量和成本分析。

快速上手

  1. 1

    克隆仓库

    获取 Docker 部署仓库。

    git clone https://github.com/bricks-cloud/BricksLLM-Docker
  2. 2

    启动服务

    使用 Docker Compose 启动网关及依赖。

    docker compose up
  3. 3

    创建提供商设置

    填入你的 OpenAI API 密钥。

    curl -X PUT http://localhost:8001/api/provider-settings -H "Content-Type: application/json" -d '{"provider":"openai","setting":{"apikey":"YOUR_OPENAI_KEY"}}'
  4. 4

    创建受限密钥

    设置速率和成本限制。

    curl -X PUT http://localhost:8001/api/key-management/keys -H "Content-Type: application/json" -d '{"name":"My Secret Key","key":"my-secret-key","tags":["mykey"],"settingIds":["ID_FROM_STEP_FOUR"],"rateLimitOverTime":2,"rateLimitUnit":"m","costLimitInUsd":0.25}'

适合谁

  • 需要控制 LLM 成本的团队
  • 需要为多用户分发 API 密钥的开发者
  • 关注请求隐私和合规的企业

不太适合

  • 只需要简单调用 LLM 的个人开发者
  • 不想维护额外基础设施的团队

成熟度

  • 活跃度最近一次推送在 2025 年 1 月,有 22 个开放 issue,更新频率中等。
  • 文档README 包含快速开始、环境变量和 cookbook 链接,文档较完整。
  • 社区约 1200 星、98 个 fork,有 Discord 社区,规模中等。
  • 上手难度提供 Docker Compose 一键部署,API 调用方式与 OpenAI 兼容,上手简单。

同类项目怎么选

  • LiteLLMLiteLLM 更侧重统一多种 LLM 的调用接口,也提供代理和成本跟踪,但 BricksLLM 更强调企业级密钥管理和 PII 脱敏。
  • PortkeyPortkey 提供 AI 网关和可观测性,有托管版本,BricksLLM 是自托管开源方案。

使用前注意

  • · 需要自行部署和维护 PostgreSQL 与 Redis。
  • · 部分高级功能(如仪表盘)仅在托管版本中提供。
  • · 使用前需确认各 LLM 提供商的服务条款和 API 密钥安全。
  • · 项目采用 MIT 许可证,可商用。

主题标签

golangllmopenaiaianthropicazuregptpostgresqlrest-apiycombinatorapidockerprivacysecurityartificial-intelligencegenerative-aiopen-sourceself-hostedvllm