GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

beam-cloud GitHub avatar

beam-cloud/beta9beta9

Go

无服务器GPU推理平台 · beam-cloud

无服务器GPU推理平台

★ 1.9K+7 本周模型推理与部署11月19日更新

为机器学习与生成式 AI 工作负载提供无服务器 GPU 推理、沙箱和后台任务能力,适合需要弹性运行模型或计算任务的开发团队。

模型推理与部署
1.9K+72023年11月15日
OpenCSGs GitHub avatar

OpenCSGs/csghubcsghub

Vue

CSGHub 模型资产管理平台 · OpenCSGs

CSGHub 模型资产管理平台

★ 4.1K+3 本周模型推理与部署11月13日更新

开源的大模型资产管理平台,可私有化部署,覆盖模型、数据集和 Agent 的全生命周期管理,Python SDK 兼容 Hugging Face,适合需要自建类 Hugging Face 服务的企业。

模型推理与部署
4.1K+32024年1月12日
dstackai GitHub avatar

dstackai/dstackdstack

Python

算力编排平台 · dstackai

算力编排平台

★ 2.3K+7 本周附带 3 个 Skill模型推理与部署11月19日更新

用于规划和推进 dstack 相关任务,涵盖预设管理与模型服务原型验证,适合在执行前明确需求、拆解步骤并检查服务行为。

模型推理与部署
2.3K+72022年1月4日
michaelfeil GitHub avatar

michaelfeil/infinityinfinity

C++

向量嵌入推理引擎 · michaelfeil

向量嵌入推理引擎

★ 3.0K+2 本周模型推理与部署11月13日更新

面向文本嵌入、重排序及 CLIP、CLAP、ColPali 等模型的高吞吐低延迟推理服务,适合需要自建向量检索后端的团队部署使用。

模型推理与部署
3.0K+22023年10月12日
mlc-ai GitHub avatar

mlc-ai/web-llm-chatweb-llm-chat

TypeScript

浏览器本地大模型聊天 · mlc-ai

浏览器本地大模型聊天

★ 1.1K+7 本周模型推理与部署11月2日更新

在浏览器中直接运行 Llama、Gemma、Mistral 等大模型并对话,无需服务器、数据不出本机,适合想体验隐私友好型本地 AI 聊天的普通用户和开发者。

模型推理与部署
1.1K+72024年5月15日
bodaay GitHub avatar

bodaay/HuggingFaceModelDownloaderHuggingFaceModelDownloader

Go

HuggingFace 模型下载器 · bodaay

HuggingFace 模型下载器

★ 1.2K+10 本周模型推理与部署10月4日更新

用 Go 编写的命令行下载工具,支持断点续传和并发下载 HuggingFace 上的模型与数据集,适合需要批量拉取大模型权重的开发者。

模型推理与部署
1.2K+102023年6月22日
aurora-develop GitHub avatar

aurora-develop/auroraaurora

Go

免费 ChatGPT 接口 · aurora-develop

免费 ChatGPT 接口

★ 2.6K+2 本周模型推理与部署9月20日更新

用 Go 编写的反向代理服务,把网页版 ChatGPT 转成兼容 OpenAI 的 API 接口,方便开发者免费调用,适合个人测试与轻量集成。

模型推理与部署
2.6K+22024年4月2日
callstackincubator GitHub avatar

callstackincubator/aiai

TypeScript

React Native 端侧大模型 · callstackincubator

React Native 端侧大模型

★ 1.4K+4 本周模型推理与部署11月11日更新

在 React Native 应用中本地运行大模型,兼容 Vercel AI SDK 接口,适合做移动端离线 AI 功能的开发者。

模型推理与部署
1.4K+42024年7月19日
Zefan-Cai GitHub avatar

Zefan-Cai/R-KVR-KV

Python

推理模型 KV 缓存压缩 · Zefan-Cai

推理模型 KV 缓存压缩

★ 1.2K+1 本周模型推理与部署11月10日更新

NeurIPS 2025 论文配套实现,针对推理模型做冗余感知的 KV Cache 压缩,降低长思维链推理的显存占用,适合研究大模型推理优化的开发者。

模型推理与部署
1.2K+12025年5月30日
josStorer GitHub avatar

josStorer/RWKV-RunnerRWKV-Runner

TypeScript

RWKV 模型运行管理工具 · josStorer

RWKV 模型运行管理工具

★ 6.5K模型推理与部署11月2日更新

轻量级 RWKV 大模型管理与启动工具,体积仅约 8MB,全自动配置,并提供兼容 OpenAI API 的接口,适合想在本地或服务端快速部署 RWKV 的开发者。

模型推理与部署
6.5K项目2023年5月5日
APIParkLab GitHub avatar

APIParkLab/APIParkAPIPark

TypeScript

AI 与 API 网关平台 · APIParkLab

AI 与 API 网关平台

★ 1.8K模型推理与部署10月27日更新

云原生高性能 AI 与 API 网关,统一接入多家大模型并支持申请审批、调用统计、负载均衡与多模型灾备,适合企业做 LLM API 管理与分发。

模型推理与部署
1.8K项目2024年8月12日
kubeai-project GitHub avatar

kubeai-project/kubeaikubeai

Go

Kubernetes 模型推理平台 · kubeai-project

Kubernetes 模型推理平台

★ 1.3K+4 本周模型推理与部署11月16日更新

在 Kubernetes 上部署和运行大模型、视觉语言模型、向量与语音识别模型的推理 Operator,支持自动扩缩容和 OpenAI 兼容接口,适合需要生产级模型服务的平台团队。

模型推理与部署
1.3K+42023年10月21日
UbiquitousLearning GitHub avatar

UbiquitousLearning/mllmmllm

C++

移动端多模态大模型 · UbiquitousLearning

移动端多模态大模型

★ 1.6K+6 本周模型推理与部署9月30日更新

面向手机等移动设备的多模态大模型推理引擎,用 C++ 实现,主打在端侧低资源环境下运行视觉语言模型,适合做移动端 AI 应用的开发者。

模型推理与部署
1.6K+62023年8月31日
intentee GitHub avatar

intentee/paddlerpaddler

Rust

大模型负载均衡器 · intentee

大模型负载均衡器

★ 1.7K+2 本周模型推理与部署11月12日更新

面向自托管场景的大模型与视觉语言模型负载均衡和服务平台,基于 ggml 生态运行于 CPU 或 GPU,适合希望以较少组件实现规模化部署的开发者。

模型推理与部署
1.7K+22024年4月28日
Amm1rr GitHub avatar

Amm1rr/WebAI-to-APIWebAI-to-API

Python

网页聊天转 API 工具 · Amm1rr

网页聊天转 API 工具

★ 1.4K+5 本周模型推理与部署11月1日更新

把网页版聊天机器人封装成兼容 OpenAI 风格的 API 服务,适合想低成本调用 Gemini 等模型的开发者自建接口。

模型推理与部署
1.4K+52023年7月23日
yym68686 GitHub avatar

yym68686/uni-apiuni-api

Rust

统一 LLM 接口网关 · yym68686

统一 LLM 接口网关

★ 1.3K+2 本周模型推理与部署11月19日更新

用统一接口管理多家大模型 API,把 OpenAI、Anthropic、Gemini、Vertex 等后端统一转换为 OpenAI 格式并支持负载均衡,适合需要多模型切换与容灾的应用。

模型推理与部署
1.3K+22024年7月4日
SciSharp GitHub avatar

SciSharp/LLamaSharpLLamaSharp

C#

.NET 本地大模型库 · SciSharp

.NET 本地大模型库

★ 3.8K+1 本周模型推理与部署11月18日更新

C#/.NET 的本地大模型运行库,基于 llama.cpp 支持 LLaMA、LLaVA 等模型推理,适合在 .NET 应用中集成聊天与多模态能力。

模型推理与部署
3.8K+12023年5月10日
withcatai GitHub avatar

withcatai/node-llama-cppnode-llama-cpp

TypeScript

本地大模型运行工具 · withcatai

本地大模型运行工具

★ 2.2K+3 本周模型推理与部署11月19日更新

通过 Node.js 绑定 llama.cpp,在本机运行多种 AI 模型,并可在生成阶段约束 JSON 输出符合指定结构;适合 JavaScript 与 TypeScript 开发者构建本地模型应用。

模型推理与部署
2.2K+32023年8月13日
sammcj GitHub avatar

sammcj/gollamagollama

Go

本地大模型管理工具 · sammcj

本地大模型管理工具

★ 1.8K+1 本周模型推理与部署10月21日更新

用于通过终端界面管理 Ollama 模型的 Go 工具,方便用户查看和整理本地模型,适合在 Linux 或 macOS 上运行 Ollama 的开发者与模型使用者。

模型推理与部署
1.8K+12024年5月30日
bentoml GitHub avatar

bentoml/BentoMLBentoML

Python

模型服务部署平台 · bentoml

模型服务部署平台

★ 8.9K+2 本周模型推理与部署11月17日更新

用于构建和部署 AI 应用及模型推理服务,支持推理 API、任务队列、LLM 应用与多模型流水线。适合希望将模型能力封装为可运行服务的机器学习与应用开发团队。

模型推理与部署
8.9K+22019年4月2日
nndeploy GitHub avatar

nndeploy/nndeploynndeploy

C++

人工智能部署框架 · nndeploy

人工智能部署框架

★ 1.9K+3 本周模型推理与部署11月17日更新

面向人工智能模型部署的高性能框架,涵盖深度学习、生成式 AI 与大模型等场景,并提供低代码和无代码能力,适合需要简化模型部署流程的团队。

模型推理与部署
1.9K+32023年8月8日
uxlfoundation GitHub avatar

uxlfoundation/oneDNNoneDNN

C++

oneDNN 深度学习算子库 · uxlfoundation

oneDNN 深度学习算子库

★ 4.1K+2 本周模型推理与部署11月19日更新

面向 CPU 与 Intel GPU 的优化深度学习算子库,覆盖矩阵乘、卷积、注意力等,被 PyTorch、TensorFlow、ONNX Runtime 等框架使用。

模型推理与部署
4.1K+22016年5月10日
floneum GitHub avatar

floneum/kalosmkalosm

Rust

Rust本地模型工具 · floneum

Rust本地模型工具

★ 2.2K模型推理与部署10月25日更新

用 Rust 在本地运行可控的预训练 AI 模型,支持大语言模型及语音转写等能力,适合希望将模型集成到 Rust 应用并注重本地运行的开发者。

模型推理与部署
2.2K项目2023年5月25日
awaescher GitHub avatar

awaescher/OllamaSharpOllamaSharp

C#

.NET 调用 Ollama 客户端库 · awaescher

.NET 调用 Ollama 客户端库

★ 1.4K+2 本周模型推理与部署11月12日更新

让 .NET 开发者用几行代码接入本地 Ollama 模型,支持流式输出与 Microsoft.Extensions.AI 集成,适合在 C# 应用中嵌入大模型能力。

模型推理与部署
1.4K+22023年10月16日
basetenlabs GitHub avatar

basetenlabs/trusstruss

Python

模型生产部署工具 · basetenlabs

模型生产部署工具

★ 1.2K+4 本周模型推理与部署11月19日更新

以简化流程将机器学习模型部署为生产服务,支持模型打包、推理服务和 API 接入,适合需要上线与维护 AI 模型的开发团队。

模型推理与部署
1.2K+42022年7月6日
OpenCSGs GitHub avatar

OpenCSGs/csghub-servercsghub-server

Go

CSGHub 模型资产管理平台 · OpenCSGs

CSGHub 模型资产管理平台

★ 1.0K+2 本周模型推理与部署11月18日更新

CSGHub 的后端服务,用 Go 编写,支持数据集与模型管理,并提供模型推理、微调和应用空间运行能力,适合团队自建模型与数据资产管理平台。

模型推理与部署
1.0K+22024年1月12日
PaddlePaddle GitHub avatar

PaddlePaddle/FastDeployFastDeploy

Python

大模型推理部署工具 · PaddlePaddle

大模型推理部署工具

★ 3.7K模型推理与部署9月24日更新

基于飞桨提供高性能大语言模型与视觉语言模型推理和部署能力,适合需要搭建模型服务的开发者。

模型推理与部署
3.7K项目2022年6月27日
mybigday GitHub avatar

mybigday/llama.rnllama.rn

C

llama.cpp 移动端绑定 · mybigday

llama.cpp 移动端绑定

★ 1.1K模型推理与部署11月19日更新

llama.cpp 的 React Native 绑定,让开发者在 iOS 和 Android 应用中直接本地运行大语言模型,适合做端侧 AI 应用的移动开发者。

模型推理与部署
1.1K项目2023年8月2日
sophgo GitHub avatar

sophgo/tpu-mlirtpu-mlir

C++

TPU 机器学习编译器 · sophgo

TPU 机器学习编译器

★ 1.0K+4 本周模型推理与部署11月18日更新

基于 MLIR 的机器学习编译器,把模型编译到算能 Sophgo TPU 上运行,适合做边缘推理部署和编译器研究的开发者。

模型推理与部署
1.0K+42022年6月3日
Capsize-Games GitHub avatar

Capsize-Games/airunnerairunner

Python

本地多模态推理引擎 · Capsize-Games

本地多模态推理引擎

★ 1.3K+1 本周模型推理与部署11月18日更新

面向离线运行的 AI 推理引擎,支持图像生成、实时语音对话、LLM 聊天机器人和自动化工作流,适合希望在本地创作与运行多模态 AI 任务的用户。

模型推理与部署
1.3K+12023年3月22日
ailia-ai GitHub avatar

ailia-ai/ailia-modelsailia-models

Python

ailia 预训练模型集 · ailia-ai

ailia 预训练模型集

★ 2.4K+2 本周模型推理与部署11月18日更新

为 ailia SDK 收集的预训练 AI 模型合集,覆盖目标检测、人脸识别、姿态估计、图像分割与异常检测等任务,适合在端侧或嵌入式环境快速调用现成模型。

模型推理与部署
2.4K+22019年9月7日
tensorflow GitHub avatar

tensorflow/servingserving

C++

TensorFlow 模型服务 · tensorflow

TensorFlow 模型服务

★ 6.4K模型推理与部署11月18日更新

TensorFlow 官方的高性能模型部署系统,支持通过 HTTP 和 gRPC 提供推理服务,适合把训练好的模型上线到生产环境的团队。

模型推理与部署
6.4K项目2016年1月27日
tingaicompass GitHub avatar

tingaicompass/AI-CompassAI-Compass

Python

tingaicompass

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。

★ 1.0K模型推理与部署11月16日更新

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。

模型推理与部署
1.0K项目2025年5月27日
ollama GitHub avatar

ollama/ollamaollama

Go

本地大模型运行工具 · ollama

本地大模型运行工具

★ 188K+863 本周模型推理与部署11月19日更新

帮助开发者与个人用户运行和管理开放模型,支持本地对话、命令行操作及 REST 接口,可通过 Python 和 JavaScript 接入应用。([github.com](https://github.com/ollama/ollama))

模型推理与部署
188K+8632023年6月27日
vllm-project GitHub avatar

vllm-project/vllmvllm

Python

大模型高效推理引擎 · vllm-project

大模型高效推理引擎

★ 97K+415 本周模型推理与部署11月19日更新

面向大模型部署开发者提供高吞吐、节省显存的推理与服务能力,通过高效注意力缓存管理和连续批处理提升服务效率,并提供兼容接口。([github.com](https://github.com/vllm-project/vllm/blob/main/docs/README.md?utm_source=openai))

模型推理与部署
97K+4152023年2月9日
BerriAI GitHub avatar

BerriAI/litellmlitellm

Python

大模型统一接入网关 · BerriAI

大模型统一接入网关

★ 64K+382 本周模型推理与部署11月19日更新

统一接入百余种大模型接口,提供兼容 OpenAI 的调用方式,以及成本追踪、负载均衡、日志和安全护栏,适合构建多模型应用的开发团队。([github.com](https://github.com/BerriAI/litellm))

模型推理与部署
64K+3822023年7月27日
ultralytics GitHub avatar

ultralytics/yolov5yolov5

Python

目标检测与分割工具 · ultralytics

目标检测与分割工具

★ 58K+28 本周模型推理与部署11月17日更新

基于 PyTorch 的计算机视觉工具,支持目标检测、实例分割和图像分类,并提供训练与模型导出能力,适合视觉算法研究者和应用开发者。([github.com](https://github.com/ultralytics/yolov5))

模型推理与部署
58K+282020年5月18日
tashfeenahmed GitHub avatar

tashfeenahmed/freellmapifreellmapi

TypeScript

免费大模型聚合网关 · tashfeenahmed

免费大模型聚合网关

★ 55K模型推理与部署11月18日更新

把 87 家免费 LLM 提供商的 1300 多个模型端点统一到一个 /v1 接口,支持智能路由、自动故障转移和密钥加密,适合个人做模型对比实验。

模型推理与部署
55K项目2026年4月21日
QuantumNous GitHub avatar

QuantumNous/new-apinew-api

Go

自托管大模型网关 · QuantumNous

自托管大模型网关

★ 52K+409 本周模型推理与部署11月18日更新

为 OpenAI、Claude、Gemini 等兼容接口提供统一的自托管 AI 网关,支持模型路由、访问控制、用量跟踪与成本核算,适合需要集中管理模型 API 的团队。

模型推理与部署
52K+4092023年11月11日
mudler GitHub avatar

mudler/LocalAILocalAI

Go

本地多模态推理引擎 · mudler

本地多模态推理引擎

★ 50K+113 本周模型推理与部署11月19日更新

可在多种硬件上本地运行语言、视觉、语音及图像和视频生成模型,并提供兼容 API;无需 GPU,适合希望自托管模型服务并保持数据本地化的开发者。

模型推理与部署
50K+1132023年3月19日
yukkcat GitHub avatar

yukkcat/chatgpt2apichatgpt2api

Python

ChatGPT 逆向接口服务 · yukkcat

ChatGPT 逆向接口服务

★ 1.0K模型推理与部署11月17日更新

通过逆向 ChatGPT 官网协议提供兼容 OpenAI 的接口,支持号池管理、批量生图与 PPT/PSD 文件生成,主要面向需要低成本调用模型的开发者。

模型推理与部署
1.0K项目2026年5月27日
liguozheng-ac GitHub avatar

liguozheng-ac/Lingbo-DeskLingbo-Desk

TypeScript

liguozheng-ac

A Windows desktop voice agent with real-time conversation, a Live2D avatar, and background tasks for files, Office documents, and the web.

★ 217模型推理与部署11月19日更新

A Windows desktop voice agent with real-time conversation, a Live2D avatar, and background tasks for files, Office documents, and the web.

模型推理与部署
217项目2026年11月4日
songquanpeng GitHub avatar

songquanpeng/one-apione-api

JavaScript

大模型接口管理网关 · songquanpeng

大模型接口管理网关

★ 37K+36 本周模型推理与部署1月9日更新

统一管理和转发多家大模型服务的 API,提供密钥管理与二次分发,并支持 Docker 部署和单文件运行。适合需要集中接入多个模型供应商的团队与服务运营者。

模型推理与部署
37K+362023年4月22日
kubesphere GitHub avatar

kubesphere/kubespherekubesphere

Go

Kubernetes容器平台 · kubesphere

Kubernetes容器平台

★ 17K+8 本周附带 31 个 Skill模型推理与部署7月15日更新

面向 KubeSphere 集群、DevOps 与扩展管理等场景,帮助查询集群信息、处理流水线任务并整理配置内容。

模型推理与部署
17K+82018年4月21日
GeeeekExplorer GitHub avatar

GeeeekExplorer/nano-vllmnano-vllm

Python

极简 vLLM 推理实现 · GeeeekExplorer

极简 vLLM 推理实现

★ 16K+93 本周模型推理与部署4月26日更新

用少量 Python 代码复刻 vLLM 核心推理流程的教学项目,适合想搞懂大模型推理引擎原理的开发者阅读和动手实践。

模型推理与部署
16K+932025年6月10日
zai-org GitHub avatar

zai-org/ChatGLM2-6BChatGLM2-6B

Python

双语对话大模型 · zai-org

双语对话大模型

★ 15K模型推理与部署2024年6月更新

提供面向中英文对话的开源大语言模型,适合研究者和开发者进行本地部署、模型应用开发与实验;项目聚焦于对话生成能力。

模型推理与部署
15K项目2023年6月24日
Portkey-AI GitHub avatar

Portkey-AI/gatewaygateway

TypeScript

大模型网关 · Portkey-AI

大模型网关

★ 13K+44 本周模型推理与部署5月25日更新

面向 LLM 应用和平台团队的 AI 网关,可通过统一 API 路由至多种大模型,并集成护栏能力,便于管理模型接入与安全策略。

模型推理与部署
13K+442023年8月23日
cocktailpeanut GitHub avatar

cocktailpeanut/dalaidalai

CSS

本地运行 LLaMA 工具 · cocktailpeanut

本地运行 LLaMA 工具

★ 13K+1 本周模型推理与部署2024年6月更新

用最简单的方式在本地机器上运行 LLaMA 大模型,降低部署门槛,适合想在个人电脑上体验和测试开源大模型的开发者。

模型推理与部署
13K+12023年3月13日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。