GitHub 市场
GitHub 上值得关注的 AI 项目和 Skills
每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。
Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.
GitHub 项目
按推荐顺序展示的GitHub 项目。 共 254 个。
beam-cloud/ beta9beta9
Go无服务器GPU推理平台 · beam-cloud
无服务器GPU推理平台
★ 1.9K+7 本周模型推理与部署11月19日更新
为机器学习与生成式 AI 工作负载提供无服务器 GPU 推理、沙箱和后台任务能力,适合需要弹性运行模型或计算任务的开发团队。
OpenCSGs/ csghubcsghub
VueCSGHub 模型资产管理平台 · OpenCSGs
CSGHub 模型资产管理平台
★ 4.1K+3 本周模型推理与部署11月13日更新
开源的大模型资产管理平台,可私有化部署,覆盖模型、数据集和 Agent 的全生命周期管理,Python SDK 兼容 Hugging Face,适合需要自建类 Hugging Face 服务的企业。
dstackai/ dstackdstack
Python算力编排平台 · dstackai
算力编排平台
★ 2.3K+7 本周附带 3 个 Skill模型推理与部署11月19日更新
用于规划和推进 dstack 相关任务,涵盖预设管理与模型服务原型验证,适合在执行前明确需求、拆解步骤并检查服务行为。
michaelfeil/ infinityinfinity
C++向量嵌入推理引擎 · michaelfeil
向量嵌入推理引擎
★ 3.0K+2 本周模型推理与部署11月13日更新
面向文本嵌入、重排序及 CLIP、CLAP、ColPali 等模型的高吞吐低延迟推理服务,适合需要自建向量检索后端的团队部署使用。
mlc-ai/ web-llm-chatweb-llm-chat
TypeScript浏览器本地大模型聊天 · mlc-ai
浏览器本地大模型聊天
★ 1.1K+7 本周模型推理与部署11月2日更新
在浏览器中直接运行 Llama、Gemma、Mistral 等大模型并对话,无需服务器、数据不出本机,适合想体验隐私友好型本地 AI 聊天的普通用户和开发者。
bodaay/ HuggingFaceModelDownloaderHuggingFaceModelDownloader
GoHuggingFace 模型下载器 · bodaay
HuggingFace 模型下载器
★ 1.2K+10 本周模型推理与部署10月4日更新
用 Go 编写的命令行下载工具,支持断点续传和并发下载 HuggingFace 上的模型与数据集,适合需要批量拉取大模型权重的开发者。
aurora-develop/ auroraaurora
Go免费 ChatGPT 接口 · aurora-develop
免费 ChatGPT 接口
★ 2.6K+2 本周模型推理与部署9月20日更新
用 Go 编写的反向代理服务,把网页版 ChatGPT 转成兼容 OpenAI 的 API 接口,方便开发者免费调用,适合个人测试与轻量集成。
callstackincubator/ aiai
TypeScriptReact Native 端侧大模型 · callstackincubator
React Native 端侧大模型
★ 1.4K+4 本周模型推理与部署11月11日更新
在 React Native 应用中本地运行大模型,兼容 Vercel AI SDK 接口,适合做移动端离线 AI 功能的开发者。
Zefan-Cai/ R-KVR-KV
Python推理模型 KV 缓存压缩 · Zefan-Cai
推理模型 KV 缓存压缩
★ 1.2K+1 本周模型推理与部署11月10日更新
NeurIPS 2025 论文配套实现,针对推理模型做冗余感知的 KV Cache 压缩,降低长思维链推理的显存占用,适合研究大模型推理优化的开发者。
josStorer/ RWKV-RunnerRWKV-Runner
TypeScriptRWKV 模型运行管理工具 · josStorer
RWKV 模型运行管理工具
★ 6.5K模型推理与部署11月2日更新
轻量级 RWKV 大模型管理与启动工具,体积仅约 8MB,全自动配置,并提供兼容 OpenAI API 的接口,适合想在本地或服务端快速部署 RWKV 的开发者。
APIParkLab/ APIParkAPIPark
TypeScriptAI 与 API 网关平台 · APIParkLab
AI 与 API 网关平台
★ 1.8K模型推理与部署10月27日更新
云原生高性能 AI 与 API 网关,统一接入多家大模型并支持申请审批、调用统计、负载均衡与多模型灾备,适合企业做 LLM API 管理与分发。
kubeai-project/ kubeaikubeai
GoKubernetes 模型推理平台 · kubeai-project
Kubernetes 模型推理平台
★ 1.3K+4 本周模型推理与部署11月16日更新
在 Kubernetes 上部署和运行大模型、视觉语言模型、向量与语音识别模型的推理 Operator,支持自动扩缩容和 OpenAI 兼容接口,适合需要生产级模型服务的平台团队。
UbiquitousLearning/ mllmmllm
C++移动端多模态大模型 · UbiquitousLearning
移动端多模态大模型
★ 1.6K+6 本周模型推理与部署9月30日更新
面向手机等移动设备的多模态大模型推理引擎,用 C++ 实现,主打在端侧低资源环境下运行视觉语言模型,适合做移动端 AI 应用的开发者。
intentee/ paddlerpaddler
Rust大模型负载均衡器 · intentee
大模型负载均衡器
★ 1.7K+2 本周模型推理与部署11月12日更新
面向自托管场景的大模型与视觉语言模型负载均衡和服务平台,基于 ggml 生态运行于 CPU 或 GPU,适合希望以较少组件实现规模化部署的开发者。
Amm1rr/ WebAI-to-APIWebAI-to-API
Python网页聊天转 API 工具 · Amm1rr
网页聊天转 API 工具
★ 1.4K+5 本周模型推理与部署11月1日更新
把网页版聊天机器人封装成兼容 OpenAI 风格的 API 服务,适合想低成本调用 Gemini 等模型的开发者自建接口。
yym68686/ uni-apiuni-api
Rust统一 LLM 接口网关 · yym68686
统一 LLM 接口网关
★ 1.3K+2 本周模型推理与部署11月19日更新
用统一接口管理多家大模型 API,把 OpenAI、Anthropic、Gemini、Vertex 等后端统一转换为 OpenAI 格式并支持负载均衡,适合需要多模型切换与容灾的应用。
SciSharp/ LLamaSharpLLamaSharp
C#.NET 本地大模型库 · SciSharp
.NET 本地大模型库
★ 3.8K+1 本周模型推理与部署11月18日更新
C#/.NET 的本地大模型运行库,基于 llama.cpp 支持 LLaMA、LLaVA 等模型推理,适合在 .NET 应用中集成聊天与多模态能力。
withcatai/ node-llama-cppnode-llama-cpp
TypeScript本地大模型运行工具 · withcatai
本地大模型运行工具
★ 2.2K+3 本周模型推理与部署11月19日更新
通过 Node.js 绑定 llama.cpp,在本机运行多种 AI 模型,并可在生成阶段约束 JSON 输出符合指定结构;适合 JavaScript 与 TypeScript 开发者构建本地模型应用。
sammcj/ gollamagollama
Go本地大模型管理工具 · sammcj
本地大模型管理工具
★ 1.8K+1 本周模型推理与部署10月21日更新
用于通过终端界面管理 Ollama 模型的 Go 工具,方便用户查看和整理本地模型,适合在 Linux 或 macOS 上运行 Ollama 的开发者与模型使用者。
bentoml/ BentoMLBentoML
Python模型服务部署平台 · bentoml
模型服务部署平台
★ 8.9K+2 本周模型推理与部署11月17日更新
用于构建和部署 AI 应用及模型推理服务,支持推理 API、任务队列、LLM 应用与多模型流水线。适合希望将模型能力封装为可运行服务的机器学习与应用开发团队。
nndeploy/ nndeploynndeploy
C++人工智能部署框架 · nndeploy
人工智能部署框架
★ 1.9K+3 本周模型推理与部署11月17日更新
面向人工智能模型部署的高性能框架,涵盖深度学习、生成式 AI 与大模型等场景,并提供低代码和无代码能力,适合需要简化模型部署流程的团队。
uxlfoundation/ oneDNNoneDNN
C++oneDNN 深度学习算子库 · uxlfoundation
oneDNN 深度学习算子库
★ 4.1K+2 本周模型推理与部署11月19日更新
面向 CPU 与 Intel GPU 的优化深度学习算子库,覆盖矩阵乘、卷积、注意力等,被 PyTorch、TensorFlow、ONNX Runtime 等框架使用。
floneum/ kalosmkalosm
RustRust本地模型工具 · floneum
Rust本地模型工具
★ 2.2K模型推理与部署10月25日更新
用 Rust 在本地运行可控的预训练 AI 模型,支持大语言模型及语音转写等能力,适合希望将模型集成到 Rust 应用并注重本地运行的开发者。
awaescher/ OllamaSharpOllamaSharp
C#.NET 调用 Ollama 客户端库 · awaescher
.NET 调用 Ollama 客户端库
★ 1.4K+2 本周模型推理与部署11月12日更新
让 .NET 开发者用几行代码接入本地 Ollama 模型,支持流式输出与 Microsoft.Extensions.AI 集成,适合在 C# 应用中嵌入大模型能力。
basetenlabs/ trusstruss
Python模型生产部署工具 · basetenlabs
模型生产部署工具
★ 1.2K+4 本周模型推理与部署11月19日更新
以简化流程将机器学习模型部署为生产服务,支持模型打包、推理服务和 API 接入,适合需要上线与维护 AI 模型的开发团队。
OpenCSGs/ csghub-servercsghub-server
GoCSGHub 模型资产管理平台 · OpenCSGs
CSGHub 模型资产管理平台
★ 1.0K+2 本周模型推理与部署11月18日更新
CSGHub 的后端服务,用 Go 编写,支持数据集与模型管理,并提供模型推理、微调和应用空间运行能力,适合团队自建模型与数据资产管理平台。
PaddlePaddle/ FastDeployFastDeploy
Python大模型推理部署工具 · PaddlePaddle
大模型推理部署工具
★ 3.7K模型推理与部署9月24日更新
基于飞桨提供高性能大语言模型与视觉语言模型推理和部署能力,适合需要搭建模型服务的开发者。
mybigday/ llama.rnllama.rn
Cllama.cpp 移动端绑定 · mybigday
llama.cpp 移动端绑定
★ 1.1K模型推理与部署11月19日更新
llama.cpp 的 React Native 绑定,让开发者在 iOS 和 Android 应用中直接本地运行大语言模型,适合做端侧 AI 应用的移动开发者。
sophgo/ tpu-mlirtpu-mlir
C++TPU 机器学习编译器 · sophgo
TPU 机器学习编译器
★ 1.0K+4 本周模型推理与部署11月18日更新
基于 MLIR 的机器学习编译器,把模型编译到算能 Sophgo TPU 上运行,适合做边缘推理部署和编译器研究的开发者。
Capsize-Games/ airunnerairunner
Python本地多模态推理引擎 · Capsize-Games
本地多模态推理引擎
★ 1.3K+1 本周模型推理与部署11月18日更新
面向离线运行的 AI 推理引擎,支持图像生成、实时语音对话、LLM 聊天机器人和自动化工作流,适合希望在本地创作与运行多模态 AI 任务的用户。
ailia-ai/ ailia-modelsailia-models
Pythonailia 预训练模型集 · ailia-ai
ailia 预训练模型集
★ 2.4K+2 本周模型推理与部署11月18日更新
为 ailia SDK 收集的预训练 AI 模型合集,覆盖目标检测、人脸识别、姿态估计、图像分割与异常检测等任务,适合在端侧或嵌入式环境快速调用现成模型。
tensorflow/ servingserving
C++TensorFlow 模型服务 · tensorflow
TensorFlow 模型服务
★ 6.4K模型推理与部署11月18日更新
TensorFlow 官方的高性能模型部署系统,支持通过 HTTP 和 gRPC 提供推理服务,适合把训练好的模型上线到生产环境的团队。
tingaicompass/ AI-CompassAI-Compass
Pythontingaicompass
“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。
★ 1.0K模型推理与部署11月16日更新
“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。
ollama/ ollamaollama
Go本地大模型运行工具 · ollama
本地大模型运行工具
★ 188K+863 本周模型推理与部署11月19日更新
帮助开发者与个人用户运行和管理开放模型,支持本地对话、命令行操作及 REST 接口,可通过 Python 和 JavaScript 接入应用。([github.com](https://github.com/ollama/ollama))
vllm-project/ vllmvllm
Python大模型高效推理引擎 · vllm-project
大模型高效推理引擎
★ 97K+415 本周模型推理与部署11月19日更新
面向大模型部署开发者提供高吞吐、节省显存的推理与服务能力,通过高效注意力缓存管理和连续批处理提升服务效率,并提供兼容接口。([github.com](https://github.com/vllm-project/vllm/blob/main/docs/README.md?utm_source=openai))
BerriAI/ litellmlitellm
Python大模型统一接入网关 · BerriAI
大模型统一接入网关
★ 64K+382 本周模型推理与部署11月19日更新
统一接入百余种大模型接口,提供兼容 OpenAI 的调用方式,以及成本追踪、负载均衡、日志和安全护栏,适合构建多模型应用的开发团队。([github.com](https://github.com/BerriAI/litellm))
ultralytics/ yolov5yolov5
Python目标检测与分割工具 · ultralytics
目标检测与分割工具
★ 58K+28 本周模型推理与部署11月17日更新
基于 PyTorch 的计算机视觉工具,支持目标检测、实例分割和图像分类,并提供训练与模型导出能力,适合视觉算法研究者和应用开发者。([github.com](https://github.com/ultralytics/yolov5))
tashfeenahmed/ freellmapifreellmapi
TypeScript免费大模型聚合网关 · tashfeenahmed
免费大模型聚合网关
★ 55K模型推理与部署11月18日更新
把 87 家免费 LLM 提供商的 1300 多个模型端点统一到一个 /v1 接口,支持智能路由、自动故障转移和密钥加密,适合个人做模型对比实验。
QuantumNous/ new-apinew-api
Go自托管大模型网关 · QuantumNous
自托管大模型网关
★ 52K+409 本周模型推理与部署11月18日更新
为 OpenAI、Claude、Gemini 等兼容接口提供统一的自托管 AI 网关,支持模型路由、访问控制、用量跟踪与成本核算,适合需要集中管理模型 API 的团队。
mudler/ LocalAILocalAI
Go本地多模态推理引擎 · mudler
本地多模态推理引擎
★ 50K+113 本周模型推理与部署11月19日更新
可在多种硬件上本地运行语言、视觉、语音及图像和视频生成模型,并提供兼容 API;无需 GPU,适合希望自托管模型服务并保持数据本地化的开发者。
yukkcat/ chatgpt2apichatgpt2api
PythonChatGPT 逆向接口服务 · yukkcat
ChatGPT 逆向接口服务
★ 1.0K模型推理与部署11月17日更新
通过逆向 ChatGPT 官网协议提供兼容 OpenAI 的接口,支持号池管理、批量生图与 PPT/PSD 文件生成,主要面向需要低成本调用模型的开发者。
liguozheng-ac/ Lingbo-DeskLingbo-Desk
TypeScriptliguozheng-ac
A Windows desktop voice agent with real-time conversation, a Live2D avatar, and background tasks for files, Office documents, and the web.
★ 217模型推理与部署11月19日更新
A Windows desktop voice agent with real-time conversation, a Live2D avatar, and background tasks for files, Office documents, and the web.
songquanpeng/ one-apione-api
JavaScript大模型接口管理网关 · songquanpeng
大模型接口管理网关
★ 37K+36 本周模型推理与部署1月9日更新
统一管理和转发多家大模型服务的 API,提供密钥管理与二次分发,并支持 Docker 部署和单文件运行。适合需要集中接入多个模型供应商的团队与服务运营者。
kubesphere/ kubespherekubesphere
GoKubernetes容器平台 · kubesphere
Kubernetes容器平台
★ 17K+8 本周附带 31 个 Skill模型推理与部署7月15日更新
面向 KubeSphere 集群、DevOps 与扩展管理等场景,帮助查询集群信息、处理流水线任务并整理配置内容。
GeeeekExplorer/ nano-vllmnano-vllm
Python极简 vLLM 推理实现 · GeeeekExplorer
极简 vLLM 推理实现
★ 16K+93 本周模型推理与部署4月26日更新
用少量 Python 代码复刻 vLLM 核心推理流程的教学项目,适合想搞懂大模型推理引擎原理的开发者阅读和动手实践。
zai-org/ ChatGLM2-6BChatGLM2-6B
Python双语对话大模型 · zai-org
双语对话大模型
★ 15K模型推理与部署2024年6月更新
提供面向中英文对话的开源大语言模型,适合研究者和开发者进行本地部署、模型应用开发与实验;项目聚焦于对话生成能力。
Portkey-AI/ gatewaygateway
TypeScript大模型网关 · Portkey-AI
大模型网关
★ 13K+44 本周模型推理与部署5月25日更新
面向 LLM 应用和平台团队的 AI 网关,可通过统一 API 路由至多种大模型,并集成护栏能力,便于管理模型接入与安全策略。
cocktailpeanut/ dalaidalai
CSS本地运行 LLaMA 工具 · cocktailpeanut
本地运行 LLaMA 工具
★ 13K+1 本周模型推理与部署2024年6月更新
用最简单的方式在本地机器上运行 LLaMA 大模型,降低部署门槛,适合想在个人电脑上体验和测试开源大模型的开发者。
找不到你要的项目或 Skill?
告诉我们仓库地址和用途,帮助补充你希望收录的项目。
请求收录
接着逛逛 RZH.AI
模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。