GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

Ebony-Vinyl GitHub avatar

Ebony-Vinyl/dsh-our-free-modeldsh-our-free-model

JavaScript

免费模型接入插件 · Ebony-Vinyl

免费模型接入插件

★ 80K+9.9k 本周模型推理与部署11月18日更新

为 dsh 提供无需注册、登录或填写 API Key 的模型接入方式,宣称可免费不限量使用多种前沿大模型。适合希望快速试用模型、减少配置步骤的开发者。

模型推理与部署
80K+9.9k2026年9月25日
cheaper-inference GitHub avatar

cheaper-inference/OmniRouteOmniRoute

TypeScript

多模型统一接入网关 · cheaper-inference

多模型统一接入网关

★ 89K+2.1k 本周模型推理与部署11月19日更新

通过统一接口接入多家模型服务,适合使用编程助手的开发者;支持按配额自动切换服务、压缩上下文,并提供桌面端与网页应用。

模型推理与部署
89K+2.1k2026年2月13日
router-for-me GitHub avatar

router-for-me/CLIProxyAPICLIProxyAPI

Go

模型接口代理服务 · router-for-me

模型接口代理服务

★ 59K+651 本周模型推理与部署11月19日更新

将多种编程助手封装为兼容 OpenAI、Gemini、Claude 与 Codex 的接口服务,方便开发者通过统一接口接入相关模型。

模型推理与部署
59K+6512025年7月2日
shanselman GitHub avatar

shanselman/gputaskmangputaskman

Python

GPU 任务管理器 · shanselman

GPU 任务管理器

★ 3.5K+1.5k 本周模型推理与部署11月19日更新

面向 Windows、Linux 和 WSL 的 GPU 任务管理器,按进程查看显存占用与 GPU 活动,并给出大模型与 KV 缓存占用洞察,支持 NVIDIA、AMD、Intel 及昇腾显卡,适合本地跑模型的开发者。

模型推理与部署
3.5K+1.5k2026年11月3日
Continuum-AI-Corp GitHub avatar

Continuum-AI-Corp/OrcaRouter-LiteOrcaRouter-Lite

Python

自托管大模型路由 · Continuum-AI-Corp

自托管大模型路由

★ 3.4K+1.4k 本周模型推理与部署10月8日更新

可自托管的 LLM 路由网关,兼容 OpenAI 接口,支持自带密钥、流式输出与单工作区管理,适合需要统一接入多家模型 API 的团队。

模型推理与部署
3.4K+1.4k2026年5月3日
lyogavin GitHub avatar

lyogavin/airllmairllm

Jupyter Notebook

大模型推理工具 · lyogavin

大模型推理工具

★ 43K+465 本周模型推理与部署11月18日更新

通过分层加载模型权重,在显存有限的环境中运行超大语言模型,目标是让单张 4GB 显卡也能进行推理,适合资源受限的模型开发者。

模型推理与部署
43K+4652023年6月13日
Wei-Shaw GitHub avatar

Wei-Shaw/sub2apisub2api

Go

大模型订阅中转服务 · Wei-Shaw

大模型订阅中转服务

★ 46K+403 本周模型推理与部署11月19日更新

提供统一接入 Claude、OpenAI、Gemini 和 Grok 等模型订阅的开源中转服务,支持共享分摊成本,并让原生工具接入模型,适合需要集中管理多家模型接口的用户。

模型推理与部署
46K+4032025年12月18日
chatanywhere GitHub avatar

chatanywhere/GPT_API_freeGPT_API_free

免费大模型接口服务 · chatanywhere

免费大模型接口服务

★ 46K+443 本周模型推理与部署10月30日更新

提供可调用 GPT、DeepSeek 等主流模型的 API,并介绍免费额度及付费调用方案,适合希望通过统一接口体验多种大模型的开发者。

模型推理与部署
46K+4432023年4月23日
FareedKhan-dev GitHub avatar

FareedKhan-dev/kimi-k3-in-ckimi-k3-in-c

C

轻量大模型推理引擎 · FareedKhan-dev

轻量大模型推理引擎

★ 12K+575 本周模型推理与部署11月16日更新

以可移植 C99 实现大模型推理,目标是在单颗 CPU 和有限内存中运行超大参数模型,无需 BLAS、深度学习框架或 GPU。适合研究低资源推理实现的开发者。

模型推理与部署
12K+5752026年8月1日
sgl-project GitHub avatar

sgl-project/sglangsglang

Python

大模型推理服务框架 · sgl-project

大模型推理服务框架

★ 39K+280 本周模型推理与部署11月19日更新

面向大语言模型与多模态模型的高性能推理和服务框架,支持多种模型架构及 GPU 加速,适合需要部署、扩展模型服务的开发者。

模型推理与部署
39K+2802024年1月8日
decolua GitHub avatar

decolua/9router9router

JavaScript

多模型编程网关 · decolua

多模型编程网关

★ 33K+332 本周模型推理与部署11月16日更新

为 Claude Code、Codex、Cursor 等编程工具提供统一 AI 网关,可连接多个模型服务商,并支持自动故障切换和请求转发。适合需要跨模型使用编程助手的开发者。

模型推理与部署
33K+3322026年1月5日
wici-ai GitHub avatar

wici-ai/inferssdinferssd

C++

SSD 流式 MoE 推理引擎 · wici-ai

SSD 流式 MoE 推理引擎

★ 1.2K+842 本周模型推理与部署11月19日更新

基于 llama.cpp 构建,通过从 SSD 流式加载 MoE 专家权重,让显存和内存不足的机器也能运行超大模型,适合本地部署爱好者。

模型推理与部署
1.2K+8422026年10月22日
ashhart GitHub avatar

ashhart/TensorFoldTensorFold

Zig

跨平台大模型推理引擎 · ashhart

跨平台大模型推理引擎

★ 2.3K+530 本周模型推理与部署11月19日更新

用 Zig 编写的 LLM 推理引擎,支持 Metal、CUDA 和 Vulkan 后端,适合想在本地或自建硬件上高效跑大模型的开发者。

模型推理与部署
2.3K+5302026年6月20日
jundot GitHub avatar

jundot/omlxomlx

Python

苹果芯片推理服务 · jundot

苹果芯片推理服务

★ 24K+202 本周模型推理与部署11月18日更新

面向 Apple Silicon 的本地大模型推理服务器,支持连续批处理与 SSD 缓存,可从 macOS 菜单栏管理并提供 OpenAI 兼容接口。

模型推理与部署
24K+2022026年2月13日
AlexsJones GitHub avatar

AlexsJones/llmfitllmfit

Rust

本地大模型选型工具 · AlexsJones

本地大模型选型工具

★ 39K+162 本周附带 1 个 Skill模型推理与部署11月18日更新

检测本机内存、CPU 和显存条件,结合量化、速度与适配度给出本地大模型选择建议,适合做模型筛选和部署前评估。

模型推理与部署
39K+1622026年2月16日
openvinotoolkit GitHub avatar

openvinotoolkit/openvinoopenvino

C++

AI 推理优化工具包 · openvinotoolkit

AI 推理优化工具包

★ 11K+200 本周模型推理与部署11月19日更新

用于优化和部署人工智能推理的开源工具包,覆盖大模型、计算机视觉、语音识别等场景,适合需要在多种硬件上提升模型运行效率的开发者。

模型推理与部署
11K+2002018年10月15日
maximhq GitHub avatar

maximhq/bifrostbifrost

Go

大模型统一网关 · maximhq

大模型统一网关

★ 9.7K+243 本周模型推理与部署11月19日更新

面向 AI 应用与 Agent 的高性能网关,通过兼容 OpenAI 的统一 API 接入多种模型及 MCP 服务,并提供故障切换、负载均衡、缓存、密钥和预算管理等能力。

模型推理与部署
9.7K+2432025年3月19日
mlc-ai GitHub avatar

mlc-ai/mlc-llmmlc-llm

Python

通用大模型部署引擎 · mlc-ai

通用大模型部署引擎

★ 23K模型推理与部署11月18日更新

基于机器学习编译技术,把各类大语言模型高效部署到手机、浏览器、GPU 等多种硬件上运行,适合需要在本地或异构设备上跑模型的开发者。

模型推理与部署
23K项目2023年4月29日
DSH-APP GitHub avatar

DSH-APP/DSHADSHA

Java

安卓本地 DeepSeek 运行器 · DSH-APP

安卓本地 DeepSeek 运行器

★ 3.5K+250 本周模型推理与部署11月14日更新

无需 ROOT 和 Termux,在安卓手机上通过 proot 运行完整 Ubuntu 环境并启动 DeepSeek Harness,支持 ADB 直连与实时输出,适合想在移动端跑编程 Agent 的用户。

模型推理与部署
3.5K+2502026年8月15日
ithtelab GitHub avatar

ithtelab/workbuddy-managerworkbuddy-manager

Python

CodeBuddy 账号池网关 · ithtelab

CodeBuddy 账号池网关

★ 2.9K+248 本周模型推理与部署11月18日更新

腾讯 CodeBuddy 账号池管理控制台,支持扫码批量纳管账号、定时签到保活、密钥分组分发与模型白名单,并内置 OpenAI 兼容反代网关,适合团队统一管理共享账号与调用配额。

模型推理与部署
2.9K+2482026年9月11日
cactus-compute GitHub avatar

cactus-compute/cactuscactus

Python

端侧智能推理框架 · cactus-compute

端侧智能推理框架

★ 15K+141 本周模型推理与部署11月19日更新

面向消费级设备的端侧 AI 框架,体积不到 50MB,可在本地跑语音、视觉与工具调用模型,适合做离线智能硬件的开发者。

模型推理与部署
15K+1412026年2月24日
mw00 GitHub avatar

mw00/project-mayaproject-maya

C++

本地大模型推理平台 · mw00

本地大模型推理平台

★ 3.0K+231 本周模型推理与部署11月18日更新

在自有 GPU 上私有运行多种大型混合专家模型,提供推理引擎、服务端、仪表盘及兼容 OpenAI 和 Anthropic 的 API,适合需要本地部署与量化工具的用户。

模型推理与部署
3.0K+2312026年10月7日
google-ai-edge GitHub avatar

google-ai-edge/mediapipemediapipe

C++

跨平台机器学习框架 · google-ai-edge

跨平台机器学习框架

★ 38K+92 本周模型推理与部署11月19日更新

提供可定制的跨平台机器学习方案,支持实时与流媒体场景中的视觉、音频等任务推理。适合构建移动端和多媒体应用,具备图计算框架与多平台支持能力。

模型推理与部署
38K+922019年6月14日
simplexai-labs GitHub avatar

simplexai-labs/PolyStrataPolyStrata

C++

本地大模型运行工具 · simplexai-labs

本地大模型运行工具

★ 1.2K+181 本周模型推理与部署11月18日更新

为 Windows 和 Linux 提供一键安装的本地大模型推理工具,可运行多种开源模型,并在本机提供兼容 OpenAI 与 Anthropic 的 API。适合希望在自有电脑上部署和调用模型的用户。

模型推理与部署
1.2K+1812026年10月7日
drumih GitHub avatar

drumih/turbo-fieldfareturbo-fieldfare

Swift

Mac 本地大模型推理 · drumih

Mac 本地大模型推理

★ 7.4K+90 本周模型推理与部署11月15日更新

在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 模型,基于 Metal 与 Swift 实现,适合想在本地低资源跑大模型的用户。

模型推理与部署
7.4K+902026年7月17日
alibaba GitHub avatar

alibaba/MNNMNN

C++

阿里端侧推理引擎 · alibaba

阿里端侧推理引擎

★ 17K+74 本周附带 11 个 Skill模型推理与部署11月18日更新

面向端侧推理引擎开发的一组流程技能,覆盖新增算子、CPU 与 GPU 后端优化、模型接入和问题排查,适合按步骤推进工程任务。

模型推理与部署
17K+742019年4月15日
microsoft GitHub avatar

microsoft/onnxruntimeonnxruntime

C++

跨平台模型运行引擎 · microsoft

跨平台模型运行引擎

★ 22K+60 本周模型推理与部署11月17日更新

提供跨平台的机器学习模型推理与训练加速能力,支持 ONNX 模型及多种硬件环境,适合需要在不同设备和框架中部署模型的开发者。

模型推理与部署
22K+602018年11月10日
leejet GitHub avatar

leejet/stable-diffusion.cppstable-diffusion.cpp

C++

扩散模型推理引擎 · leejet

扩散模型推理引擎

★ 8.1K+83 本周模型推理与部署11月16日更新

使用纯 C/C++ 在本地运行 Stable Diffusion、Flux、Wan 等扩散模型,支持图像生成与图像转换,适合希望以原生程序部署图像生成模型的开发者。

模型推理与部署
8.1K+832023年8月13日
trymirai GitHub avatar

trymirai/uzuuzu

Rust

高性能推理引擎 · trymirai

高性能推理引擎

★ 3.4K+110 本周模型推理与部署11月19日更新

用 Rust 编写的高性能 AI 模型推理引擎,支持 Metal 加速,面向需要在本地或服务端高效运行大模型与语音合成模型的开发者。

模型推理与部署
3.4K+1102025年6月24日
Mesh-LLM GitHub avatar

Mesh-LLM/mesh-llmmesh-llm

Rust

分布式大模型平台 · Mesh-LLM

分布式大模型平台

★ 4.2K+90 本周模型推理与部署11月19日更新

通过分布式共享算力运行 AI 与大模型,支持将计算资源用于驱动智能体和聊天应用,并提供私有或公开参与方式,适合关注去中心化模型计算的开发者。

模型推理与部署
4.2K+902026年2月11日
su-kaka GitHub avatar

su-kaka/agy2apiagy2api

Python

Antigravity 接口转换 · su-kaka

Antigravity 接口转换

★ 5.4K+83 本周模型推理与部署11月18日更新

把 Antigravity 封装成兼容 OpenAI、Gemini 和 Claude 的 API 接口,方便在现有客户端和工具中直接调用,适合需要统一接口的开发者。

模型推理与部署
5.4K+832025年8月14日
LMCache GitHub avatar

LMCache/LMCacheLMCache

Python

LLM 键值缓存加速层 · LMCache

LLM 键值缓存加速层

★ 12K+47 本周模型推理与部署11月19日更新

为大模型推理提供高性能 KV Cache 层,可配合 vLLM 等引擎降低显存占用、提升吞吐,适合部署和优化 LLM 服务的工程师。

模型推理与部署
12K+472024年5月29日
llm-d GitHub avatar

llm-d/llm-dllm-d

Python

Kubernetes 大模型推理平台 · llm-d

Kubernetes 大模型推理平台

★ 5.3K+72 本周模型推理与部署11月19日更新

在 Kubernetes 上利用现代加速器实现高性能分布式大模型推理,支持智能路由与模型服务,适合需要集群化部署 LLM 的运维和平台团队。

模型推理与部署
5.3K+722025年4月30日
vllm-project GitHub avatar

vllm-project/vllm-ascendvllm-ascend

Python

昇腾推理硬件插件 · vllm-project

昇腾推理硬件插件

★ 3.1K+35 本周模型推理与部署11月19日更新

为 vLLM 提供面向华为昇腾硬件的社区维护插件,支持在昇腾平台运行和服务大语言模型,适合使用该硬件部署模型推理服务的开发者。

模型推理与部署
3.1K+352025年1月29日
aimod-cc GitHub avatar

aimod-cc/Agent2APIAgent2API

Rust

本地 AI 路由网关 · aimod-cc

本地 AI 路由网关

★ 2.5K模型推理与部署11月19日更新

本地部署的 AI 路由网关,可接管 Agent 客户端登录态,用一个 base_url 调用 50 多家模型额度,统一 OpenAI、Anthropic 与生图接口,并支持多账号选路、签到和余额报表。

模型推理与部署
2.5K项目2026年9月11日
NerverDevs GitHub avatar

NerverDevs/nervecenternervecenter

TypeScript

中转站账号管理面板 · NerverDevs

中转站账号管理面板

★ 520+144 本周模型推理与部署10月25日更新

面向 new-api、sub2api 等 API 中转站的账号管理面板,集中查看余额、API Key、用量与倍率,并支持多模型比价,适合自建中转服务的用户。

模型推理与部署
520+1442026年10月23日
peonist-ai GitHub avatar

peonist-ai/halogen-flash-serverhalogen-flash-server

Shell

本地大模型推理服务 · peonist-ai

本地大模型推理服务

★ 1.4K+83 本周模型推理与部署11月18日更新

在 AMD Strix Halo 上本地运行 Qwen 等大模型,通过同一端口同时提供 OpenAI 与 Anthropic 兼容 API,适合想自建类前沿 API 体验的开发者。

模型推理与部署
1.4K+832026年8月26日
Osmantic GitHub avatar

Osmantic/ODSODS

Python

本地AI服务器 · Osmantic

本地AI服务器

★ 7.9K+40 本周模型推理与部署11月19日更新

将个人电脑部署为私有 AI 服务器,整合本地大模型、RAG、工作流自动化及图像生成等能力。适合希望在自有硬件上运行和管理 AI 服务的用户。

模型推理与部署
7.9K+402026年2月9日
ddalcu GitHub avatar

ddalcu/mlx-servemlx-serve

Zig

苹果芯片推理服务 · ddalcu

苹果芯片推理服务

★ 2.5K+66 本周模型推理与部署11月19日更新

为 Apple Silicon 提供原生大模型推理服务,兼容 OpenAI 与 Anthropic API,并包含 macOS 聊天应用及音乐、语音和视频生成能力,适合本地运行模型的用户。

模型推理与部署
2.5K+662026年2月17日
hyperionaidev GitHub avatar

hyperionaidev/smolmaxxingsmolmaxxing

C

端侧大模型运行工具 · hyperionaidev

端侧大模型运行工具

★ 1.0K模型推理与部署11月19日更新

用 C 语言实现的本地大模型推理方案,专注在尽可能小的设备上运行不同 LLM,支持量化算法,适合嵌入式与边缘 AI 开发者。

模型推理与部署
1.0K项目2026年11月4日
gpustack GitHub avatar

gpustack/gpustackgpustack

Python

大模型推理集群管理器 · gpustack

大模型推理集群管理器

★ 6.1K+48 本周模型推理与部署11月18日更新

管理用于大模型服务的 GPU 集群,可部署 vLLM、SGLang 等推理引擎,并提供按需创建、可通过 SSH 访问的 GPU 实例,适合建设 AI 推理服务的团队。

模型推理与部署
6.1K+482024年5月11日
skypilot-org GitHub avatar

skypilot-org/skypilotskypilot

Python

多云 AI 算力调度平台 · skypilot-org

多云 AI 算力调度平台

★ 11K+33 本周模型推理与部署11月19日更新

把分散在多家云上的 GPU/TPU 资源统一调度成一台 AI 超级计算机,支持分布式训练与作业队列,适合需要跨云管理算力的 AI 团队。

模型推理与部署
11K+332021年8月12日
gufo-org GitHub avatar

gufo-org/gufogufo

C++

AMD Strix Halo 推理引擎 · gufo-org

AMD Strix Halo 推理引擎

★ 1.2K+70 本周模型推理与部署11月19日更新

面向 AMD Strix Halo 平台的开源 AI 推理引擎,单个二进制即可运行文本、向量、语音、图像和视频模型,提供 OpenAI 兼容接口,适合在本地 AMD 硬件上部署模型。

模型推理与部署
1.2K+702026年8月12日
basketikun GitHub avatar

basketikun/chatgpt2apichatgpt2api

Go

ChatGPT 逆向接口服务 · basketikun

ChatGPT 逆向接口服务

★ 7.0K模型推理与部署11月16日更新

用 Go 逆向还原 ChatGPT 官网接口,支持文本、生图改图与语音合成转写,兼容 OpenAI 协议并带号池管理,适合需要低成本批量调用模型的开发者。

模型推理与部署
7.0K项目2026年4月19日
RunanywhereAI GitHub avatar

RunanywhereAI/trnrttrnrt

Python

Trainium 推理引擎 · RunanywhereAI

Trainium 推理引擎

★ 1.6K模型推理与部署11月18日更新

面向 AWS Trainium 芯片的开源大模型推理引擎,支持百万级上下文和 OpenAI 兼容接口,适合在 AWS 上自建推理服务的团队。

模型推理与部署
1.6K项目2026年10月31日
zyycn GitHub avatar

zyycn/codex-proxy-rscodex-proxy-rs

Rust

Codex 多账号代理网关 · zyycn

Codex 多账号代理网关

★ 1.3K+65 本周模型推理与部署11月19日更新

用 Rust 编写的自托管透明代理网关,把多个 OpenAI Codex 账号聚合成统一入口,降低风控风险并提升并发性能,适合需要稳定调用 Codex 服务的开发者。

模型推理与部署
1.3K+652026年6月12日
seakee GitHub avatar

seakee/CPA-Manager-PlusCPA-Manager-Plus

Go

CPA 网关管理面板 · seakee

CPA 网关管理面板

★ 4.1K+32 本周模型推理与部署11月17日更新

自托管的 CPA/CLIProxyAPI 管理面板与 AI 网关可观测性仪表盘,集中查看请求、用量、成本、配额、失败和账号健康,适合运维多账号 AI 网关的团队。

模型推理与部署
4.1K+322026年5月17日
StartLuxLabs GitHub avatar

StartLuxLabs/StartLux-DecisionStartLux-Decision

Python

开源决策模型 · StartLuxLabs

开源决策模型

★ 1.8K+43 本周模型推理与部署10月23日更新

提供从 0.8B 到 27B 参数的开源决策模型,一次推理即可为多个选项给出校准概率,并仅在模型不确定时输出简短思路,适合需要本地部署分类与决策能力的开发者。

模型推理与部署
1.8K+432026年9月29日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。