GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

davemessew GitHub avatar

davemessew/AgentFluxAgentFlux

TypeScript

davemessew

Agentic AI platform for visual workflows and autonomous agents. Run it with Docker on your own computer or server.

★ 281+102 本周模型推理与部署10月30日更新

Agentic AI platform for visual workflows and autonomous agents. Run it with Docker on your own computer or server.

模型推理与部署
281+1022026年10月27日
mostlygeek GitHub avatar

mostlygeek/llama-swapllama-swap

Go

本地模型切换服务 · mostlygeek

本地模型切换服务

★ 6.3K+38 本周模型推理与部署11月19日更新

为本地 AI 推理服务器提供模型切换与统一 API 接入,支持 llama.cpp、vLLM 等服务,适合需要在多个本地模型间管理和切换的开发者。

模型推理与部署
6.3K+382024年10月4日
raullenchai GitHub avatar

raullenchai/Rapid-MLXRapid-MLX

Python

Apple 芯片本地推理服务 · raullenchai

Apple 芯片本地推理服务

★ 4.2K+33 本周模型推理与部署11月19日更新

面向 Apple Silicon 的开源大模型推理服务,兼容 OpenAI 与 Anthropic 接口,基于 MLX 并针对编码 Agent 的工具调用做了优化,同权重下比 mlx-lm 快数倍,适合在 Mac 上本地跑模型的开发者。

模型推理与部署
4.2K+332026年2月25日
NVIDIA-NeMo GitHub avatar

NVIDIA-NeMo/SwitchyardSwitchyard

Rust

LLM 多模型路由网关 · NVIDIA-NeMo

LLM 多模型路由网关

★ 3.7K模型推理与部署11月19日更新

用 Rust 编写的 LLM 流量路由层,在保持 OpenAI 与 Anthropic 原生 API 兼容的同时,把请求分发到不同模型和供应商,便于选型、基准测试与成本优化。

模型推理与部署
3.7K项目2026年5月20日
Wei-Shaw GitHub avatar

Wei-Shaw/claude-relay-serviceclaude-relay-service

JavaScript

大模型中转服务 · Wei-Shaw

大模型中转服务

★ 13K+20 本周模型推理与部署11月19日更新

自托管的多模型 API 中转服务,可将 Claude、OpenAI、Gemini 等订阅统一接入,并支持共享与成本分摊,适合需要统一管理模型访问的团队和开发者。

模型推理与部署
13K+202025年7月14日
arcboxlabs GitHub avatar

arcboxlabs/arcboxarcbox

Rust

智能体隔离运行平台 · arcboxlabs

智能体隔离运行平台

★ 4.3K+36 本周模型推理与部署11月16日更新

用纯 Rust 构建本地优先的 AI Agent 运行环境,在隔离的真实机器中提供独立内核、文件系统和网络,兼容 OCI,启动时间低于 100 毫秒,适合需要沙箱执行的开发者。

模型推理与部署
4.3K+362026年1月4日
looplj GitHub avatar

looplj/axonhubaxonhub

Go

大模型统一网关 · looplj

大模型统一网关

★ 5.5K+27 本周模型推理与部署11月19日更新

开源 AI 网关,可通过不同 SDK 接入上百种大模型,并提供故障切换、负载均衡、成本控制和端到端追踪,适合需要统一管理多家模型 API 的开发团队。

模型推理与部署
5.5K+272025年9月10日
mlc-ai GitHub avatar

mlc-ai/web-llmweb-llm

TypeScript

浏览器大模型推理引擎 · mlc-ai

浏览器大模型推理引擎

★ 19K+22 本周模型推理与部署11月18日更新

在浏览器中运行大语言模型的高性能推理引擎,利用 WebGPU 等技术进行加速,适合开发者构建无需服务器后端的网页端大模型应用。

模型推理与部署
19K+222023年4月14日
qualcomm GitHub avatar

qualcomm/GenieXGenieX

Go

高通端侧大模型SDK · qualcomm

高通端侧大模型SDK

★ 8.5K+25 本周模型推理与部署11月18日更新

高通推出的端侧推理 SDK,几行代码即可在骁龙设备的 NPU、GPU 和 CPU 上本地运行大语言模型与视觉语言模型,适合移动端 AI 应用开发者。

模型推理与部署
8.5K+252024年8月17日
Tencent GitHub avatar

Tencent/ncnnncnn

C++

移动端推理框架 · Tencent

移动端推理框架

★ 24K+21 本周模型推理与部署11月17日更新

面向移动设备优化的高性能神经网络推理框架,支持 ARM 等平台及 Vulkan 加速,适合将深度学习模型部署到 Android、iOS 等设备的开发者。

模型推理与部署
24K+212017年6月30日
off-grid-ai GitHub avatar

off-grid-ai/OGAMOGAM

TypeScript

离线本地 AI 工具箱 · off-grid-ai

离线本地 AI 工具箱

★ 3.4K+31 本周模型推理与部署11月19日更新

在手机或 Mac 上离线运行 GGUF 大模型,支持视觉、Whisper 语音转写、Stable Diffusion 生图和工具调用,无需账号和 API Key,数据不出设备。

模型推理与部署
3.4K+312026年1月29日
AtomicBot-ai GitHub avatar

AtomicBot-ai/Atomic-ChatAtomic-Chat

TypeScript

本地大模型运行工具 · AtomicBot-ai

本地大模型运行工具

★ 2.0K+40 本周模型推理与部署11月19日更新

面向桌面用户的本地 AI 应用与推理引擎,可离线运行开放权重语言模型并支持 Agent 使用,适合重视隐私、希望在个人电脑运行模型的用户。

模型推理与部署
2.0K+402026年3月31日
synchopate GitHub avatar

synchopate/llama-modchipllama-modchip

Python

CPU 大模型推理优化 · synchopate

CPU 大模型推理优化

★ 1.4K模型推理与部署11月19日更新

在 64GB 纯 CPU 环境运行 284B DeepSeek 与 30B MoE 模型的推理优化方案,结合 AVX512、投机解码等技术,适合无 GPU 的本地部署玩家。

模型推理与部署
1.4K项目2026年10月29日
PrismML-Eng GitHub avatar

PrismML-Eng/Bonsai-demoBonsai-demo

Shell

小模型本地运行演示 · PrismML-Eng

小模型本地运行演示

★ 3.5K+24 本周模型推理与部署11月5日更新

PrismML 出品的演示项目,展示如何用 llama.cpp 与 MLX 在本地运行小型语言模型,适合想体验轻量模型本地推理的开发者参考。

模型推理与部署
3.5K+242026年3月26日
badrisnarayanan GitHub avatar

badrisnarayanan/antigravity-claude-proxyantigravity-claude-proxy

JavaScript

Claude 模型代理网关 · badrisnarayanan

Claude 模型代理网关

★ 4.1K+25 本周模型推理与部署11月16日更新

把 Antigravity 提供的 Claude 与 Gemini 模型包装成兼容接口,让 Claude Code、OpenClaw 等客户端直接调用,适合想复用已有模型额度做本地开发的用户。

模型推理与部署
4.1K+252025年12月19日
SemiAnalysisAI GitHub avatar

SemiAnalysisAI/InferenceXInferenceX

Python

推理加速器评测平台 · SemiAnalysisAI

推理加速器评测平台

★ 2.1K+33 本周模型推理与部署11月19日更新

开源的 AI 加速器推理研究平台,基于 vLLM、SGLang 等在 NVIDIA、AMD 等硬件上做推理性能基准测试,适合研究者和工程师评估硬件与推理方案。

模型推理与部署
2.1K+332025年7月13日
lightseekorg GitHub avatar

lightseekorg/tokenspeedtokenspeed

Python

高速大模型推理引擎 · lightseekorg

高速大模型推理引擎

★ 2.9K+17 本周模型推理与部署11月19日更新

主打极致速度的 LLM 推理引擎,支持 DeepSeek、Qwen、Kimi、GLM 等主流模型及视觉语言模型,适合追求低延迟高吞吐的部署场景。

模型推理与部署
2.9K+172026年5月6日
Soju06 GitHub avatar

Soju06/codex-lbcodex-lb

Python

Codex 多账号负载均衡 · Soju06

Codex 多账号负载均衡

★ 3.5K+23 本周模型推理与部署11月18日更新

为 Codex/ChatGPT 提供多账号负载均衡与代理,带用量统计、仪表盘和 OpenCode 兼容端点,适合团队分摊调用额度。

模型推理与部署
3.5K+232026年1月7日
tbphp GitHub avatar

tbphp/gpt-loadgpt-load

Go

自托管大模型网关 · tbphp

自托管大模型网关

★ 7.2K+19 本周模型推理与部署11月18日更新

自托管的大模型 API 网关,可统一管理多渠道与多凭据,提供调度、故障切换、请求日志和用量统计,适合需要集中接入多种模型服务的开发团队。

模型推理与部署
7.2K+192025年6月7日
vllm-project GitHub avatar

vllm-project/semantic-routersemantic-router

Go

语义路由决策层 · vllm-project

语义路由决策层

★ 6.5K模型推理与部署11月19日更新

面向模型与算力的可编程决策层,按语义把请求路由到不同模型或推理后端,适合在 Kubernetes 上做多模型调度、网关与护栏的团队。

模型推理与部署
6.5K项目2025年8月27日
theagentrouter GitHub avatar

theagentrouter/agent-routeragent-router

Go

大模型统一接入网关 · theagentrouter

大模型统一接入网关

★ 2.4K+37 本周模型推理与部署11月19日更新

基于 Envoy Gateway 管理对多种生成式 AI 服务的统一访问,面向需要在 Kubernetes 环境中集中接入和治理模型推理服务的团队。

模型推理与部署
2.4K+372024年10月21日
Helldez GitHub avatar

Helldez/BigMoeOnEdgeBigMoeOnEdge

C++

边缘 MoE 流式推理 · Helldez

边缘 MoE 流式推理

★ 1.0K模型推理与部署11月19日更新

让手机、笔记本等边缘设备运行超出内存容量的 MoE 大模型,基于原生 llama.cpp 做自适应流式优化,并提供本地 OpenAI 兼容接口。

模型推理与部署
1.0K项目2026年7月11日
HRuiCcc GitHub avatar

HRuiCcc/RuiC-oc-ferryRuiC-oc-ferry

JavaScript

大模型本地转发工具 · HRuiCcc

大模型本地转发工具

★ 540+37 本周模型推理与部署11月1日更新

将 OpenCode 可用的模型转发给 WorkBuddy,提供隔离运行、并发检测、判定缓存和一键导入,并支持本机 OpenAI 兼容接口。适合需要在桌面应用间共享模型的用户。

模型推理与部署
540+372026年10月10日
NVIDIA GitHub avatar

NVIDIA/TensorRTTensorRT

C++

TensorRT 推理加速 SDK · NVIDIA

TensorRT 推理加速 SDK

★ 13K+21 本周模型推理与部署11月19日更新

NVIDIA 官方的高性能深度学习推理 SDK,在 NVIDIA GPU 上加速模型部署,包含开源组件,适合需要低延迟高吞吐推理的工程团队。

模型推理与部署
13K+212019年5月3日
dwgx GitHub avatar

dwgx/WindsurfAPIWindsurfAPI

JavaScript

多模型兼容代理 · dwgx

多模型兼容代理

★ 3.1K+17 本周模型推理与部署11月18日更新

将 Windsurf 与 Devin Desktop 提供的多种 AI 模型转换为 OpenAI、Anthropic 和 Gemini 兼容接口,适合自托管并接入 Claude Code、Cline 或 Cursor。

模型推理与部署
3.1K+172026年4月9日
qixing-jk GitHub avatar

qixing-jk/all-api-huball-api-hub

TypeScript

大模型中转账号管理工具 · qixing-jk

大模型中转账号管理工具

★ 5.1K+17 本周模型推理与部署11月18日更新

集中管理 New-API、Sub2API 等中转服务账号,提供余额与用量查看、自动签到、密钥管理、价格比较和渠道健康检查,适合同时使用多个模型接口的用户。

模型推理与部署
5.1K+172025年9月8日
triton-inference-server GitHub avatar

triton-inference-server/serverserver

Python

Triton 推理服务 · triton-inference-server

Triton 推理服务

★ 11K+18 本周模型推理与部署11月19日更新

面向云端与边缘的高性能模型推理服务器,支持多框架模型部署、GPU 加速与动态批处理,适合需要生产级模型服务的工程团队。

模型推理与部署
11K+182018年10月5日
justlovemaki GitHub avatar

justlovemaki/AIClient2APIAIClient2API

JavaScript

多协议AI代理 · justlovemaki

多协议AI代理

★ 9.0K+10 本周模型推理与部署11月18日更新

自托管的 AI API 代理,可统一接入多家模型与服务商,并在 OpenAI、Claude、Gemini 等协议间转换。适合需要集中管理模型入口、配置服务商池和故障切换的开发者。

模型推理与部署
9.0K+102025年7月20日
vllm-project GitHub avatar

vllm-project/vllm-metalvllm-metal

Python

苹果芯片推理插件 · vllm-project

苹果芯片推理插件

★ 2.0K+17 本周模型推理与部署11月18日更新

为 vLLM 提供社区维护的 Apple Silicon 硬件插件,利用 Metal 支持在苹果芯片设备上运行大模型推理,适合希望在 macOS 本地探索 vLLM 的开发者。

模型推理与部署
2.0K+172025年12月13日
receptron GitHub avatar

receptron/layalaya

TypeScript

Laya 决策模型运行库 · receptron

Laya 决策模型运行库

★ 1.1K+21 本周模型推理与部署10月17日更新

在 Node.js/TypeScript 中通过 ONNX Runtime 本地运行 Laya 决策模型,适合需要在应用内嵌入轻量分类与决策推理的开发者,无需依赖云端服务。

模型推理与部署
1.1K+212026年9月19日
EricLBuehler GitHub avatar

EricLBuehler/mistral.rsmistral.rs

Rust

Rust 大模型推理引擎 · EricLBuehler

Rust 大模型推理引擎

★ 7.8K+19 本周模型推理与部署11月9日更新

用 Rust 编写的高性能 LLM 推理引擎,支持多种模型格式与量化,追求速度与灵活部署,适合需要在本地或服务端运行大模型的开发者。

模型推理与部署
7.8K+192024年2月27日
kvcache-ai GitHub avatar

kvcache-ai/MooncakeMooncake

C++

Kimi 推理服务平台 · kvcache-ai

Kimi 推理服务平台

★ 7.1K模型推理与部署11月18日更新

Moonshot AI 为 Kimi 打造的 LLM 推理服务平台,支持 KV 缓存、RDMA 与预填充解码分离,适合大规模模型部署与推理优化场景。

模型推理与部署
7.1K项目2024年6月25日
cobanov GitHub avatar

cobanov/PS5LMPS5LM

C++

PS5本地大模型运行工具 · cobanov

PS5本地大模型运行工具

★ 857+24 本周模型推理与部署11月16日更新

将 llama.cpp 移植到已破解的 PlayStation 5,可在主机上原生运行 GGUF 格式模型,适合希望在游戏主机上实验本地大模型推理的开发者。

模型推理与部署
857+242026年10月2日
Arthur-Ficial GitHub avatar

Arthur-Ficial/apfelapfel

Swift

Mac 本地 AI 命令行 · Arthur-Ficial

Mac 本地 AI 命令行

★ 6.6K模型推理与部署11月18日更新

在 Mac 上通过 Apple Intelligence 本地运行大模型,提供命令行工具、OpenAI 兼容服务和交互式对话,无需 API 密钥或云端,适合注重隐私的开发者。

模型推理与部署
6.6K项目2026年3月25日
RunanywhereAI GitHub avatar

RunanywhereAI/runanywhere-sdksrunanywhere-sdks

C++

端侧 AI 运行工具包 · RunanywhereAI

端侧 AI 运行工具包

★ 10K+7 本周模型推理与部署11月11日更新

面向 iOS、Android 等端的本地 AI 推理 SDK,支持大模型、多模态与语音能力,适合想在移动设备上离线运行模型的开发者。

模型推理与部署
10K+72025年7月22日
BlockRunAI GitHub avatar

BlockRunAI/ClawRouterClawRouter

TypeScript

智能大模型路由器 · BlockRunAI

智能大模型路由器

★ 6.7K+3 本周模型推理与部署11月19日更新

面向自主 Agent 的大模型路由工具,可通过统一钱包接入多种前沿模型,并在本地快速选择路由;支持以 USDC 在 Base 和 Solana 网络支付。

模型推理与部署
6.7K+32026年2月4日
bentoml GitHub avatar

bentoml/OpenLLMOpenLLM

Python

大模型部署服务框架 · bentoml

大模型部署服务框架

★ 13K+12 本周模型推理与部署11月17日更新

将 DeepSeek、Llama 等开源大模型部署为兼容 OpenAI 接口的 API 服务,面向需要在云端运行和提供模型推理服务的团队。

模型推理与部署
13K+122023年4月19日
apache GitHub avatar

apache/tvmtvm

Python

深度学习编译器框架 · apache

深度学习编译器框架

★ 14K+11 本周模型推理与部署11月19日更新

Apache 开源的机器学习编译框架,把模型编译到 CPU、GPU 及多种加速器上运行,适合需要跨硬件部署和优化推理性能的开发者与研究者。

模型推理与部署
14K+112016年10月13日
superlinked GitHub avatar

superlinked/siesie

Python

向量检索推理服务 · superlinked

向量检索推理服务

★ 3.5K+23 本周模型推理与部署11月19日更新

开源的推理服务器与生产集群,为 Agent 提供嵌入、向量检索等模型服务,适合需要自建检索与推理基础设施的团队。

模型推理与部署
3.5K+232023年11月7日
xorbitsai GitHub avatar

xorbitsai/inferenceinference

Python

多模态模型推理平台 · xorbitsai

多模态模型推理平台

★ 9.7K+12 本周模型推理与部署11月18日更新

开源推理平台,可部署语言、视觉、嵌入、重排、图像、音频和视频模型,支持多引擎与异构硬件,并通过 OpenAI 兼容 API 提供服务。

模型推理与部署
9.7K+122023年6月14日
InternLM GitHub avatar

InternLM/lmdeploylmdeploy

Python

大模型推理部署工具 · InternLM

大模型推理部署工具

★ 8.2K+10 本周模型推理与部署11月18日更新

面向大模型的压缩、部署与推理服务工具包,支持量化、CUDA 加速和多种主流模型,适合需要自建高性能 LLM 推理服务的开发者与运维团队。

模型推理与部署
8.2K+102023年6月15日
kaitranntt GitHub avatar

kaitranntt/ccsccs

TypeScript

多模型账号切换工具 · kaitranntt

多模型账号切换工具

★ 2.9K+10 本周模型推理与部署11月17日更新

通过命令行与 OAuth 代理切换 Claude、Gemini、Copilot、OpenRouter 等服务账号和模型,提供可视化面板及远程代理支持,适合需要管理多家 AI 服务的开发者。

模型推理与部署
2.9K+102025年11月2日
rynfar GitHub avatar

rynfar/meridianmeridian

TypeScript

大模型本地代理工具 · rynfar

大模型本地代理工具

★ 2.2K+9 本周模型推理与部署11月18日更新

提供连接 Claude、Antigravity 与多种编程客户端的本地 API 桥接,并附带用量仪表盘和 macOS 应用,适合需要在不同 AI 编程工具间切换的开发者。

模型推理与部署
2.2K+92026年1月21日
BenedictKing GitHub avatar

BenedictKing/ccxccx

Go

多模型API代理 · BenedictKing

多模型API代理

★ 4.0K+3 本周模型推理与部署11月19日更新

用 Go 编写的 API 代理,面向 Claude、Codex 和 Gemini 等服务统一转发请求,适合需要通过代理接入多种模型 API 的开发者。

模型推理与部署
4.0K+32026年1月31日
huawei-csl GitHub avatar

huawei-csl/MACaQMACaQ

C++

通用模型量化工具 · huawei-csl

通用模型量化工具

★ 370模型推理与部署11月17日更新

与模型无关的 SOTA 量化方案,支持 GGUF 及本地推理,可配合 llama.cpp、vLLM、Diffusers 和 PyTorch 量化运行文本、图像、视频与音频模型。

模型推理与部署
370项目2026年11月10日
OmniJev GitHub avatar

OmniJev/FlideFlide

Python

决策模型推理引擎 · OmniJev

决策模型推理引擎

★ 543模型推理与部署11月16日更新

面向决策模型的高性能推理引擎,支持 Gemma、Qwen 等模型,基于 PyTorch、Triton 与 CUDA 做确定性推理和 KV 缓存优化,适合部署低延迟 Agent 服务。

模型推理与部署
543项目2026年10月24日
ROCm GitHub avatar

ROCm/FastFlowLMFastFlowLM

C++

AMD NPU 大模型推理工具 · ROCm

AMD NPU 大模型推理工具

★ 2.1K+14 本周模型推理与部署11月19日更新

针对 AMD Ryzen AI 神经处理单元优化的大模型运行工具,可帮助用户快速在兼容设备上部署和运行 LLM;适合使用 AMD NPU 进行本地推理的开发者。

模型推理与部署
2.1K+142025年6月17日
chrishayuk GitHub avatar

chrishayuk/larqllarql

Rust

Rust 模型运行时 · chrishayuk

Rust 模型运行时

★ 1.2K+10 本周模型推理与部署11月19日更新

用 Rust 编写的 AI 模型运行时,基于可执行、可检查的 VINDEX3 模型格式,支持运行、服务、查询和编辑模型,适合关注推理部署与模型可解释性的开发者。

模型推理与部署
1.2K+102026年3月27日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。