GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

ovg-project GitHub avatar

ovg-project/kvcachedkvcached

Python

大模型缓存优化工具 · ovg-project

大模型缓存优化工具

★ 2.0K+13 本周模型推理与部署11月18日更新

通过虚拟化弹性 KV Cache 支持 GPU 动态共享,提升大模型推理时的缓存利用效率,面向使用 SGLang、vLLM 等推理框架的部署与基础设施开发者。

模型推理与部署
2.0K+132025年5月28日
beclab GitHub avatar

beclab/OlaresOlares

Go

个人云端智能体系统 · beclab

个人云端智能体系统

★ 5.4K+8 本周模型推理与部署11月19日更新

面向个人与家庭实验室的开源私有云操作系统,支持自托管应用和常驻智能体,可在本地或边缘环境运行 AI 服务,强调数据隐私与云原生部署。

模型推理与部署
5.4K+82024年4月29日
huggingface GitHub avatar

huggingface/text-embeddings-inferencetext-embeddings-inference

Rust

文本嵌入推理服务 · huggingface

文本嵌入推理服务

★ 5.1K+8 本周模型推理与部署11月17日更新

Hugging Face 出品的文本嵌入模型高速推理方案,用 Rust 实现,适合需要低延迟批量生成向量、搭建检索或 RAG 服务的开发者。

模型推理与部署
5.1K+82023年10月13日
openlake-project GitHub avatar

openlake-project/openlakeopenlake

Rust

大模型高性能存储引擎 · openlake-project

大模型高性能存储引擎

★ 3.1K模型推理与部署11月11日更新

面向大模型推理与 GPU 训练的高性能存储引擎,基于 Rust 与 RDMA 提升吞吐,适合需要优化模型加载和数据读取的基础设施团队。

模型推理与部署
3.1K项目2026年4月27日
eliasbiondo GitHub avatar

eliasbiondo/antirionantirion

Rust

大模型网关 · eliasbiondo

大模型网关

★ 468+11 本周模型推理与部署11月14日更新

用单一服务统一路由 OpenAI、Anthropic、Gemini、Bedrock 等模型调用,并提供安全控制、预算管理和可观测性。适合需要集中管理多家模型 API 的开发团队。

模型推理与部署
468+112026年10月18日
lemonade-sdk GitHub avatar

lemonade-sdk/lemonadelemonade

C++

本地 AI 推理服务 · lemonade-sdk

本地 AI 推理服务

★ 6.2K模型推理与部署11月19日更新

在本地 GPU 和 NPU 上运行优化后的大模型,为本地 AI 应用提供 OpenAI 兼容接口,支持 AMD 硬件与 MCP。

模型推理与部署
6.2K项目2025年5月16日
pytorch GitHub avatar

pytorch/executorchexecutorch

Python

PyTorch 端侧推理框架 · pytorch

PyTorch 端侧推理框架

★ 5.2K+9 本周模型推理与部署11月19日更新

PyTorch 官方的端侧 AI 运行时,把模型部署到手机、嵌入式和边缘设备,支持多种硬件后端,适合做移动端与嵌入式推理的开发者。

模型推理与部署
5.2K+92022年2月26日
Paritok-official GitHub avatar

Paritok-official/paritok-4b-v1paritok-4b-v1

Python

AI 编码压缩网关 · Paritok-official

AI 编码压缩网关

★ 1.4K+2 本周模型推理与部署11月18日更新

面向 AI 编程 Agent 的无损压缩网关,可削减 token 开销并让同一上下文窗口容纳更多轮次,兼容 Claude Code、Cursor、Codex 等任意 BASE_URL 客户端。

模型推理与部署
1.4K+22026年7月15日
nobodywho-ooo GitHub avatar

nobodywho-ooo/nobodywhonobodywho

Rust

本地大模型推理引擎 · nobodywho-ooo

本地大模型推理引擎

★ 1.7K+17 本周模型推理与部署11月18日更新

用 Rust 编写的推理引擎,可在任意设备上高效本地运行大模型,提供 Godot 与 Python 等绑定,适合游戏和端侧 AI 开发者。

模型推理与部署
1.7K+172024年9月3日
sums001 GitHub avatar

sums001/Windows-Copilot-APIWindows-Copilot-API

Python

Copilot 兼容接口 · sums001

Copilot 兼容接口

★ 1.3K+2 本周模型推理与部署10月30日更新

将 Windows Copilot 逆向封装为 OpenAI 兼容的 REST 接口,无需 API Key 即可调用 GPT 模型,适合做实验和接口联调。

模型推理与部署
1.3K+22026年6月19日
jmaczan GitHub avatar

jmaczan/tiny-vllmtiny-vllm

C++

迷你 vLLM 推理引擎 · jmaczan

迷你 vLLM 推理引擎

★ 1.2K+10 本周模型推理与部署11月16日更新

用 C++ 和 CUDA 从零实现的高性能大模型推理引擎教学项目,是 vLLM 的精简版,适合想深入理解 PagedAttention、批处理等推理底层机制的学习者。

模型推理与部署
1.2K+102026年2月10日
Generated-Computers GitHub avatar

Generated-Computers/LocalsLocals

Python

Mac 多 Agent 运行器 · Generated-Computers

Mac 多 Agent 运行器

★ 651+4 本周模型推理与部署11月18日更新

在 Mac 上同时运行多个 AI Agent,借助 Apple Silicon 与 MLX 加速,最高提速 3 倍,适合本地跑编程 Agent 的开发者。

模型推理与部署
651+42026年10月13日
aidanpark GitHub avatar

aidanpark/openclaw-androidopenclaw-android

Kotlin

安卓运行 OpenClaw 工具 · aidanpark

安卓运行 OpenClaw 工具

★ 1.8K+6 本周模型推理与部署10月14日更新

一条命令即可在安卓手机上运行 OpenClaw,无需 proot 或 Linux 环境,适合把闲置手机改造成低功耗自托管 AI Agent 节点的用户。

模型推理与部署
1.8K+62026年2月11日
Tencent GitHub avatar

Tencent/AngelSlimAngelSlim

Python

大模型压缩工具 · Tencent

大模型压缩工具

★ 1.8K+12 本周模型推理与部署11月18日更新

腾讯推出的模型压缩工具包,涵盖量化、推测解码等技术,支持大语言模型及多模态模型优化,适合希望降低模型部署成本、提升推理效率的开发者。

模型推理与部署
1.8K+122025年7月4日
xLLM-AI GitHub avatar

xLLM-AI/xllmxllm

C++

大模型推理引擎 · xLLM-AI

大模型推理引擎

★ 1.6K+5 本周模型推理与部署11月18日更新

面向大语言模型、视觉语言模型、扩散模型和推荐模型提供高性能推理能力,并针对多种 AI 加速器优化,适合需要部署多类模型的工程团队。

模型推理与部署
1.6K+52025年8月12日
ENTERPILOT GitHub avatar

ENTERPILOT/GoModelGoModel

Go

大模型统一网关 · ENTERPILOT

大模型统一网关

★ 1.3K+7 本周模型推理与部署11月19日更新

用 Go 构建的 AI 网关与代理,统一接入 OpenAI、Anthropic、Gemini、Ollama 等服务,并提供路由、故障切换、用量追踪和可观测能力,适合部署与管理多模型 API 的团队。

模型推理与部署
1.3K+72025年12月6日
bestruirui GitHub avatar

bestruirui/octopusoctopus

TypeScript

大模型聚合网关 · bestruirui

大模型聚合网关

★ 2.8K+3 本周模型推理与部署10月23日更新

面向个人用户的自托管 LLM API 聚合网关,统一接入多家模型与编码助手服务,适合希望集中管理模型接口、凭据和调用入口的开发者。

模型推理与部署
2.8K+32025年11月18日
jammaru GitHub avatar

jammaru/sakuttosakutto

TypeScript

本地大模型翻译插件 · jammaru

本地大模型翻译插件

★ 272模型推理与部署11月19日更新

浏览器扩展,用本地运行的 PLaMo 模型在设备上完成网页翻译,无需服务器、免费且保护隐私,适合注重数据安全的多语言阅读用户。

模型推理与部署
272项目2026年11月6日
av GitHub avatar

av/harborharbor

Python

本地 LLM 栈一键部署 · av

本地 LLM 栈一键部署

★ 3.3K+10 本周模型推理与部署11月11日更新

用一条命令拉起预配置好的完整 LLM 服务栈,内置数百个可探索的 AI 服务,适合想自托管本地大模型环境、又不想手动折腾 Docker 配置的开发者。

模型推理与部署
3.3K+102024年7月28日
ModelTC GitHub avatar

ModelTC/LightLLMLightLLM

Python

大模型推理服务框架 · ModelTC

大模型推理服务框架

★ 4.4K+9 本周模型推理与部署11月19日更新

基于 Python 构建的大语言模型推理与服务框架,面向需要部署模型 API 的开发者,特点是轻量、易扩展并注重推理速度。

模型推理与部署
4.4K+92023年7月22日
mithun50 GitHub avatar

mithun50/openclaw-termuxopenclaw-termux

Dart

安卓 AI 网关运行器 · mithun50

安卓 AI 网关运行器

★ 1.8K+3 本周模型推理与部署11月13日更新

在 Android 手机上运行 OpenClaw AI 网关的独立 Flutter 应用,内置终端、网页仪表盘和一键安装,也提供 Termux 命令行包,适合想在移动端自托管 AI 网关的用户。

模型推理与部署
1.8K+32026年2月3日
theopenco GitHub avatar

theopenco/llmgatewayllmgateway

TypeScript

大模型统一网关 · theopenco

大模型统一网关

★ 1.7K+11 本周模型推理与部署11月19日更新

通过统一 API 路由和管理不同服务商的大模型请求,并提供请求分析与密钥管理能力,适合需要集中治理多模型调用的应用团队。

模型推理与部署
1.7K+112025年4月13日
katanemo GitHub avatar

katanemo/planoplano

Rust

大模型代理网关 · katanemo

大模型代理网关

★ 7.1K+4 本周附带 9 个 Skill模型推理与部署10月25日更新

覆盖任务拆解、配置与路由、部署安全、可观测性排查及设计协作等场景,帮助 Agent 按任务范围整理步骤并开展相关工作。

模型推理与部署
7.1K+42024年7月10日
kennss GitHub avatar

kennss/SiliconScopeSiliconScope

Swift

苹果芯片系统监控 · kennss

苹果芯片系统监控

★ 1.0K+2 本周模型推理与部署11月12日更新

面向 Apple Silicon Mac 的原生系统监控工具,无需 root 即可查看 ANE、媒体引擎与内存带宽占用,适合本地跑大模型的用户观察硬件负载。

模型推理与部署
1.0K+22026年6月9日
cactus-compute GitHub avatar

cactus-compute/engineengine

C++

移动端大模型推理引擎 · cactus-compute

移动端大模型推理引擎

★ 6.2K模型推理与部署11月6日更新

面向手机等消费级设备的 2bit 量化、算子内核与推理运行时,让开发者在 Android 和 iOS 上本地跑大模型,主打低资源占用。

模型推理与部署
6.2K项目2025年4月23日
waybarrios GitHub avatar

waybarrios/vllm-mlxvllm-mlx

Python

苹果芯片大模型推理服务 · waybarrios

苹果芯片大模型推理服务

★ 1.7K+4 本周模型推理与部署11月8日更新

面向 Apple Silicon 提供兼容 OpenAI 与 Anthropic 接口的大模型推理服务,基于 MLX 支持连续批处理、多模态模型及 MCP 工具调用,适合本地部署与编码 Agent 接入。

模型推理与部署
1.7K+42025年12月7日
lithos-ai GitHub avatar

lithos-ai/lithos-metallithos-metal

Python

苹果芯片推理引擎 · lithos-ai

苹果芯片推理引擎

★ 351+7 本周模型推理与部署10月22日更新

面向 Apple Silicon 提供高性能大语言模型推理内核与服务能力,适合希望在苹果设备上本地运行或部署模型的开发者,重点优化芯片推理性能。

模型推理与部署
351+72026年10月5日
T-Crypt GitHub avatar

T-Crypt/berthberth

Go

GPU资源调度器 · T-Crypt

GPU资源调度器

★ 300+8 本周模型推理与部署11月17日更新

用 Go 编写的轻量级 GPU 资源管理工具,可控制不同应用何时使用 GPU,并在应用间交接访问权限,适合自托管推理服务和本地 AI 工作负载。

模型推理与部署
300+82026年10月12日
algorithmicsuperintelligence GitHub avatar

algorithmicsuperintelligence/optillmoptillm

Python

大模型推理优化代理 · algorithmicsuperintelligence

大模型推理优化代理

★ 4.3K+6 本周模型推理与部署11月16日更新

面向大语言模型 API 的推理优化代理,可作为请求网关接入模型服务,并围绕推理过程提供优化能力,适合构建高效的模型调用工作流。

模型推理与部署
4.3K+62024年8月23日
beizhu-1209 GitHub avatar

beizhu-1209/AIHelmsAIHelms

Python

企业 AI 网关治理平台 · beizhu-1209

企业 AI 网关治理平台

★ 1.0K+1 本周模型推理与部署11月16日更新

面向企业的 AI 资源纳管平台,统一接入 OpenAI、Azure、Claude、DeepSeek 等模型,提供 Token 调度、MCP 与 Skill 注册分发、成本归因和安全审计,适合需要治理 AI 资产与量化 ROI 的团队。

模型推理与部署
1.0K+12026年5月9日
Neywa-Labs GitHub avatar

Neywa-Labs/mlx-vlmmlx-vlm

Python

Mac 视觉语言模型工具 · Neywa-Labs

Mac 视觉语言模型工具

★ 5.9K模型推理与部署11月19日更新

基于苹果 MLX 框架,在 Mac 上本地推理和微调视觉语言模型,支持 LLaVA、PaliGemma、Florence2 等多种模型,适合想在 Apple 芯片上跑多模态模型的用户。

模型推理与部署
5.9K项目2024年4月16日
psalias2006 GitHub avatar

psalias2006/gpu-hotgpu-hot

JavaScript

GPU 实时监控面板 · psalias2006

GPU 实时监控面板

★ 1.6K+5 本周模型推理与部署8月25日更新

基于 Flask 的 NVIDIA GPU 实时监控仪表盘,展示利用率、显存、温度等指标并绘制图表,适合跑训练或推理的开发者快速查看显卡状态。

模型推理与部署
1.6K+52025年10月5日
kittors GitHub avatar

kittors/CliRelayCliRelay

Go

自托管 AI 编程网关 · kittors

自托管 AI 编程网关

★ 1.1K+5 本周模型推理与部署11月18日更新

面向编程 CLI 的自托管 AI 网关,统一提供兼容 OpenAI、Claude、Gemini、Codex 的接口,并带多租户控制台、请求日志与额度管理,适合团队集中管理模型调用。

模型推理与部署
1.1K+52026年2月27日
Yamz-Labs GitHub avatar

Yamz-Labs/kyojinkyojin

Python

本地大模型推理引擎 · Yamz-Labs

本地大模型推理引擎

★ 242+7 本周模型推理与部署11月18日更新

基于 ExLlamaV3 的开源推理引擎,可在单台迷你电脑或显卡上运行大型开源模型,支持 AMD ROCm 与 NVIDIA CUDA,适合希望本地部署量化模型的用户。

模型推理与部署
242+72026年10月3日
MiniMax-AI GitHub avatar

MiniMax-AI/MiniMax-M2MiniMax-M2

大语言模型 · MiniMax-AI

大语言模型

★ 2.6K模型推理与部署10月26日更新

面向编程与智能体工作流训练的大语言模型,适合需要代码生成、复杂任务处理或构建 Agent 应用的开发者;项目说明强调其针对相关工作流进行设计。

模型推理与部署
2.6K项目2025年10月26日
lmstudio-ai GitHub avatar

lmstudio-ai/lmslms

TypeScript

LM Studio 命令行工具 · lmstudio-ai

LM Studio 命令行工具

★ 5.4K模型推理与部署11月18日更新

LM Studio 的官方 CLI,可在终端下载、运行和管理本地大模型,适合习惯命令行、想在本地部署推理的开发者。

模型推理与部署
5.4K项目2024年4月15日
PrunaAI GitHub avatar

PrunaAI/prunapruna

Python

模型优化压缩框架 · PrunaAI

模型优化压缩框架

★ 1.4K+9 本周模型推理与部署11月10日更新

面向开发者的模型优化框架,通过压缩、量化等手段让 LLM、扩散模型和语音模型推理更快更省资源,适合部署前做性能优化。

模型推理与部署
1.4K+92025年3月11日
NVIDIA GitHub avatar

NVIDIA/kvpresskvpress

Python

KV 缓存压缩工具 · NVIDIA

KV 缓存压缩工具

★ 1.3K+8 本周模型推理与部署11月16日更新

NVIDIA 出品的 LLM KV 缓存压缩库,基于 PyTorch 与 Transformers,降低长上下文推理显存占用,适合部署大模型时优化推理成本。

模型推理与部署
1.3K+82024年11月7日
thu-pacman GitHub avatar

thu-pacman/chituchitu

Python

赤兔大模型推理框架 · thu-pacman

赤兔大模型推理框架

★ 3.0K+2 本周模型推理与部署11月18日更新

清华 PACMAN 团队开源的高性能大模型推理与服务框架,强调效率、灵活性和可用性,适合需要自建 LLM 推理服务的工程团队。

模型推理与部署
3.0K+22025年2月20日
affifuddin-hazam GitHub avatar

affifuddin-hazam/ghost-inferghost-infer

HTML

affifuddin-hazam

Fast local LLM inference for the GPU you already have: one Rust binary, GGUF models, an OpenAI-compatible server and a chat page with a ghost.

★ 242模型推理与部署11月17日更新

Fast local LLM inference for the GPU you already have: one Rust binary, GGUF models, an OpenAI-compatible server and a chat page with a ghost.

模型推理与部署
242项目2026年10月28日
containers GitHub avatar

containers/ramalamaramalama

Python

容器化本地模型服务工具 · containers

容器化本地模型服务工具

★ 3.1K+5 本周模型推理与部署11月14日更新

用容器方式简化任意来源 AI 模型的本地部署与推理服务,支持 llama.cpp、vLLM 等后端,适合想把模型跑在自己机器或生产环境的开发者。

模型推理与部署
3.1K+52024年7月25日
ngxson GitHub avatar

ngxson/wllamawllama

TypeScript

浏览器端大模型推理 · ngxson

浏览器端大模型推理

★ 1.4K+11 本周模型推理与部署11月19日更新

llama.cpp 的 WebAssembly 绑定,让大模型直接在浏览器里本地推理,无需后端服务,适合做隐私友好的网页端 AI 应用。

模型推理与部署
1.4K+112024年3月14日
CurvineIO GitHub avatar

CurvineIO/curvinecurvine

Rust

云原生 AI 文件系统 · CurvineIO

云原生 AI 文件系统

★ 1.1K模型推理与部署11月19日更新

用 Rust 编写的 AI 原生云原生文件系统,在对象存储上提供完整 POSIX 语义与多级分布式缓存,面向 AI 训练、推理和 Agent 场景,CNCF 沙箱项目。

模型推理与部署
1.1K项目2025年5月27日
heterodoxin GitHub avatar

heterodoxin/AbliteratedOutTheBoxAbliteratedOutTheBox

C++

heterodoxin

llama.cpp fork that abliterates at inference

★ 219模型推理与部署11月19日更新

llama.cpp fork that abliterates at inference

模型推理与部署
219项目2026年10月22日
tenstorrent GitHub avatar

tenstorrent/tt-metaltt-metal

Python

AI 加速器计算库 · tenstorrent

AI 加速器计算库

★ 133+10 本周模型推理与部署11月19日更新

面向 Tenstorrent 加速器提供 TT-NN 算子库与底层 TT-Metalium 内核编程模型,支持构建和优化 AI 工作负载。适合开发加速器算子、模型推理及相关计算内核的工程师。

模型推理与部署
133+102023年2月13日
b4rtaz GitHub avatar

b4rtaz/distributed-llamadistributed-llama

C++

分布式大模型推理引擎 · b4rtaz

分布式大模型推理引擎

★ 3.1K+4 本周模型推理与部署11月17日更新

用 C++ 编写的分布式 LLM 推理工具,把家中多台设备组成集群共同加速推理,设备越多速度越快,适合本地部署大模型的爱好者。

模型推理与部署
3.1K+42023年12月5日
RayBytes GitHub avatar

RayBytes/ChatMockChatMock

Python

Codex 兼容 API 服务 · RayBytes

Codex 兼容 API 服务

★ 1.6K+1 本周模型推理与部署11月4日更新

基于 Codex 提供兼容 OpenAI 与 Ollama 的 API 接口,方便把现有客户端或工具接到 Codex 模型上,适合需要本地或自建聊天接口的开发者。

模型推理与部署
1.6K+12025年8月15日
alibaba GitHub avatar

alibaba/rtp-llmrtp-llm

Python

大模型推理引擎 · alibaba

大模型推理引擎

★ 1.4K+9 本周模型推理与部署11月19日更新

阿里巴巴开源的高性能大语言模型推理与服务引擎,面向需要部署模型并支撑多类应用的开发者,重点提供推理运行能力。

模型推理与部署
1.4K+92023年12月27日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。