GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

bigscience-workshop GitHub avatar

bigscience-workshop/petalspetals

Python

分布式大模型运行工具 · bigscience-workshop

分布式大模型运行工具

★ 11K+16 本周模型推理与部署2024年9月更新

通过志愿者共享的计算资源,以类似 BitTorrent 的方式在家运行大语言模型,并支持推理与微调;适合希望协同使用模型、分散计算负载的研究者和开发者。

模型推理与部署
11K+162022年6月12日
Tiiny-AI GitHub avatar

Tiiny-AI/PowerInferPowerInfer

C++

本地大模型推理引擎 · Tiiny-AI

本地大模型推理引擎

★ 9.9K+14 本周模型推理与部署5月11日更新

面向本地部署的大语言模型高性能推理与服务引擎,帮助开发者在本地硬件上运行模型,适合关注推理速度和私有化部署的用户。

模型推理与部署
9.9K+142023年12月15日
coaidev GitHub avatar

coaidev/coaicoai

TypeScript

多模型网关平台 · coaidev

多模型网关平台

★ 9.3K+1 本周模型推理与部署3月12日更新

面向企业和应用开发团队的多租户 AI 平台,统一接入多家模型服务并提供优先级路由、成本管理、文件解析、搜索及计费能力,适合构建和运营 LLM 应用。

模型推理与部署
9.3K+12023年7月18日
dusty-nv GitHub avatar

dusty-nv/jetson-inferencejetson-inference

C++

边缘深度学习推理工具 · dusty-nv

边缘深度学习推理工具

★ 9.0K+1 本周模型推理与部署2025年10月更新

提供在 NVIDIA Jetson 设备上部署深度学习推理网络和计算机视觉能力的指南与示例,适合嵌入式 AI 开发者进行图像识别、目标检测和分割等应用。

模型推理与部署
9.0K+12016年7月31日
nebuly-ai GitHub avatar

nebuly-ai/optimateoptimate

Python

模型性能优化工具 · nebuly-ai

模型性能优化工具

★ 8.3K模型推理与部署2024年7月更新

一组用于优化 AI 模型性能的 Python 库,面向模型开发者与部署团队,帮助提升深度学习及大语言模型的运行效率。

模型推理与部署
8.3K项目2022年2月13日
01-ai GitHub avatar

01-ai/YiYi

Jupyter Notebook

通义千问大模型 · 01-ai

通义千问大模型

★ 7.8K模型推理与部署2024年11月更新

由 01.AI 团队从头训练的大语言模型系列,适合研究者与开发者用于文本理解、生成及模型实验;项目提供模型权重与相关资源。

模型推理与部署
7.8K项目2023年11月4日
AbdBarho GitHub avatar

AbdBarho/stable-diffusion-webui-dockerstable-diffusion-webui-docker

Shell

图像生成部署工具 · AbdBarho

图像生成部署工具

★ 7.3K模型推理与部署2024年8月更新

通过 Docker 快速部署带有用户界面的 Stable Diffusion 环境,降低本地运行门槛,适合希望自托管图像生成服务并使用容器管理环境的用户。

模型推理与部署
7.3K项目2022年8月27日
PaddlePaddle GitHub avatar

PaddlePaddle/Paddle-LitePaddle-Lite

C++

端侧推理引擎 · PaddlePaddle

端侧推理引擎

★ 7.3K+2 本周模型推理与部署4月27日更新

面向移动设备和边缘硬件的高性能深度学习推理引擎,支持多种处理器与加速硬件,适合需要在端侧部署模型的开发者。

模型推理与部署
7.3K+22017年9月20日
thtrieu GitHub avatar

thtrieu/darkflowdarkflow

Python

Darknet 转 TensorFlow 工具 · thtrieu

Darknet 转 TensorFlow 工具

★ 6.1K模型推理与部署2023年10月更新

把 Darknet 模型迁移到 TensorFlow 的工具,可加载预训练权重、继续微调并导出静态图部署到移动端,适合做目标检测落地与模型移植的开发者。

模型推理与部署
6.1K项目2016年8月16日
baichuan-inc GitHub avatar

baichuan-inc/Baichuan-7BBaichuan-7B

Python

百川七十亿模型 · baichuan-inc

百川七十亿模型

★ 5.6K模型推理与部署2024年7月更新

百川智能发布的 70 亿参数预训练语言模型,面向中文及通用语言任务,可用于研究、评测和下游应用开发,适合希望基于开源模型开展实验的开发者。

模型推理与部署
5.6K项目2023年6月14日
winfunc GitHub avatar

winfunc/deepreasoningdeepreasoning

Rust

推理链聊天推理服务 · winfunc

推理链聊天推理服务

★ 5.4K模型推理与部署2025年10月更新

用 Rust 编写的高性能大模型推理 API 与聊天界面,把 DeepSeek R1 的思维链推理与 Claude 模型结合,适合想对比和展示推理过程的开发者。

模型推理与部署
5.4K项目2025年1月27日
XiaoMi GitHub avatar

XiaoMi/macemace

C++

移动端深度学习推理框架 · XiaoMi

移动端深度学习推理框架

★ 5.1K模型推理与部署2024年6月更新

小米开源的高性能深度学习推理框架,针对手机等移动异构平台优化,支持 NEON、OpenCL 等加速,适合在端侧部署神经网络模型的开发者。

模型推理与部署
5.1K项目2018年6月27日
GaiaNet-AI GitHub avatar

GaiaNet-AI/gaianet-nodegaianet-node

Shell

去中心化Agent节点 · GaiaNet-AI

去中心化Agent节点

★ 5.0K模型推理与部署2025年10月更新

用于安装、运行和部署自有的去中心化 AI Agent 服务,面向希望搭建个人或社区 Agent 服务的开发者,支持与区块链及工具生态结合。

模型推理与部署
5.0K项目2024年3月6日
zai-org GitHub avatar

zai-org/GLM-4.5GLM-4.5

Python

智能推理基础模型 · zai-org

智能推理基础模型

★ 4.4K+2 本周模型推理与部署2月1日更新

面向智能体、推理与代码任务的基础模型项目,提供 GLM-4.5 模型相关资源,适合研究人员和开发者探索大语言模型在复杂推理及编程场景中的能力。

模型推理与部署
4.4K+22025年7月20日
baichuan-inc GitHub avatar

baichuan-inc/Baichuan2Baichuan2

Python

百川大语言模型 · baichuan-inc

百川大语言模型

★ 4.1K模型推理与部署2024年11月更新

百川智能开发的一系列大语言模型,面向中文与通用自然语言处理任务,可供研究者和开发者用于模型评测、应用开发及相关实验。

模型推理与部署
4.1K项目2023年8月31日
thu-ml GitHub avatar

thu-ml/SageAttentionSageAttention

Cuda

量化注意力加速库 · thu-ml

量化注意力加速库

★ 4.0K+9 本周模型推理与部署1月18日更新

面向大模型与图像、视频生成模型的量化注意力实现,相比 FlashAttention 可提速 2–5 倍且不损失端到端指标,适合做推理加速的工程与研究人员。

模型推理与部署
4.0K+92024年10月3日
PublicAffairs GitHub avatar

PublicAffairs/openai-geminiopenai-gemini

JavaScript

Gemini 转 OpenAI 代理 · PublicAffairs

Gemini 转 OpenAI 代理

★ 3.7K模型推理与部署3月18日更新

把 Gemini API 转换成 OpenAI 兼容接口的无服务器代理,让现有 OpenAI SDK 和应用无需改代码即可调用 Gemini 模型。

模型推理与部署
3.7K项目2024年2月19日
MiniMax-AI GitHub avatar

MiniMax-AI/MiniMax-M1MiniMax-M1

Python

混合推理大模型 · MiniMax-AI

混合推理大模型

★ 3.2K模型推理与部署2025年7月更新

MiniMax-M1 是采用混合注意力架构的开放权重大规模推理模型,面向需要部署或研究大语言模型的开发者与研究人员。

模型推理与部署
3.2K项目2025年6月14日
li-plus GitHub avatar

li-plus/chatglm.cppchatglm.cpp

C++

ChatGLM推理引擎 · li-plus

ChatGLM推理引擎

★ 3.0K模型推理与部署2024年7月更新

用 C++ 实现 ChatGLM 系列模型的本地推理,支持多个 GLM 版本,适合希望在本地或边缘环境运行中文大模型的开发者。

模型推理与部署
3.0K项目2023年5月24日
baichuan-inc GitHub avatar

baichuan-inc/Baichuan-13BBaichuan-13B

Python

中文大语言模型 · baichuan-inc

中文大语言模型

★ 2.9K+1 本周模型推理与部署2023年9月更新

由百川智能开发的 130 亿参数大语言模型,面向中文及多语言自然语言处理与对话应用;相关资源包含模型与基准评测信息,适合研究者和开发者进行使用与评估。

模型推理与部署
2.9K+12023年7月11日
MartialBE GitHub avatar

MartialBE/one-hubone-hub

Go

OpenAI 接口分发系统 · MartialBE

OpenAI 接口分发系统

★ 2.9K模型推理与部署2月20日更新

基于 one-api 改造的 OpenAI 接口管理与分发平台,支持更多模型、用量统计页面,并完善了非 OpenAI 模型的函数调用,适合自建 API 中转服务的团队。

模型推理与部署
2.9K项目2023年9月9日
FasterDecoding GitHub avatar

FasterDecoding/MedusaMedusa

Jupyter Notebook

多头解码加速框架 · FasterDecoding

多头解码加速框架

★ 2.8K+1 本周模型推理与部署2024年6月更新

通过多个解码头并行预测后续 token 来加速大模型生成,可作为投机解码方案接入现有推理流程,适合研究推理加速的开发者。

模型推理与部署
2.8K+12023年9月10日
ohmplatform GitHub avatar

ohmplatform/FreedomGPTFreedomGPT

TypeScript

本地离线大模型客户端 · ohmplatform

本地离线大模型客户端

★ 2.7K+4 本周模型推理与部署2024年6月更新

基于 React 与 Electron 的桌面聊天应用,在 Mac 和 Windows 上本地离线运行大模型,适合注重隐私、不想把对话上传云端的用户。

模型推理与部署
2.7K+42023年3月21日
SafeAILab GitHub avatar

SafeAILab/EAGLEEAGLE

Python

大模型推测解码 · SafeAILab

大模型推测解码

★ 2.6K+3 本周模型推理与部署2月20日更新

实现 EAGLE 系列大语言模型推测解码方法,通过辅助预测加速模型生成,并提供多个研究版本的官方代码,适合关注推理性能的研究者与开发者。

模型推理与部署
2.6K+32023年12月8日
CJackHwang GitHub avatar

CJackHwang/AIstudioProxyAPIAIstudioProxyAPI

Python

AI Studio 代理网关 · CJackHwang

AI Studio 代理网关

★ 2.5K+4 本周模型推理与部署4月22日更新

用 FastAPI 与 Playwright 把 Google AI Studio 网页对话包装成兼容 OpenAI 格式的 API,支持参数转发并自带调试面板,适合想低成本调用 Gemini 的开发者。

模型推理与部署
2.5K+42025年4月27日
xusenlinzy GitHub avatar

xusenlinzy/api-for-open-llmapi-for-open-llm

Python

开源大模型统一接口 · xusenlinzy

开源大模型统一接口

★ 2.5K模型推理与部署2024年9月更新

为 LLaMA、Qwen、ChatGLM、Baichuan 等开源大模型提供 OpenAI 风格的统一 API 后端,方便现有 ChatGPT 客户端和 LangChain 应用直接接入本地模型。

模型推理与部署
2.5K项目2023年5月23日
jwadow GitHub avatar

jwadow/kiro-gatewaykiro-gateway

Python

模型代理网关 · jwadow

模型代理网关

★ 2.4K+5 本周模型推理与部署5月19日更新

为 Kiro IDE 与命令行提供代理 API 网关,可将 Claude 模型接入其他兼容客户端,适合需要统一模型访问入口的开发者。

模型推理与部署
2.4K+52025年12月13日
dvmazur GitHub avatar

dvmazur/mixtral-offloadingmixtral-offloading

Python

Mixtral 显存卸载运行 · dvmazur

Mixtral 显存卸载运行

★ 2.3K+1 本周模型推理与部署2024年4月更新

通过量化与卸载技术,让 Mixtral-8x7B 这类混合专家大模型能在 Colab 或消费级显卡上运行,适合显存有限但想本地体验大模型的用户。

模型推理与部署
2.3K+12023年12月15日
TigerResearch GitHub avatar

TigerResearch/TigerBotTigerBot

Python

多语言大模型 · TigerResearch

多语言大模型

★ 2.3K模型推理与部署2024年12月更新

提供面向多语言、多任务场景的大语言模型及相关资源,聚焦中文与自然语言处理应用。适合希望使用或研究多语言模型的开发者和研究人员。

模型推理与部署
2.3K项目2023年5月12日
RightNow-AI GitHub avatar

RightNow-AI/picolmpicolm

C

嵌入式大模型推理工具 · RightNow-AI

嵌入式大模型推理工具

★ 2.2K模型推理与部署2月23日更新

面向资源受限设备运行约 10 亿参数大语言模型的推理工具,目标硬件仅需 256MB 内存,适合在低成本开发板及嵌入式平台探索本地模型部署。

模型推理与部署
2.2K项目2026年2月19日
LinkSoul-AI GitHub avatar

LinkSoul-AI/Chinese-Llama-2-7bChinese-Llama-2-7b

Python

中文大语言模型 · LinkSoul-AI

中文大语言模型

★ 2.2K模型推理与部署2023年10月更新

基于 LLaMA 2 的中文开源大语言模型,提供可下载、可运行的模型,适合研究者和开发者进行本地推理与应用实验。

模型推理与部署
2.2K项目2023年7月20日
TimmyOVO GitHub avatar

TimmyOVO/deepseek-ocr.rsdeepseek-ocr.rs

Rust

Rust 本地 OCR 引擎 · TimmyOVO

Rust 本地 OCR 引擎

★ 2.2K模型推理与部署2月21日更新

用 Rust 实现的多后端 OCR 与视觉语言模型推理引擎,支持 DeepSeek-OCR、PaddleOCR-VL 等模型,提供兼容 OpenAI 的服务端和命令行,无需 Python 即可本地运行。

模型推理与部署
2.2K项目2025年10月25日
vitoplantamura GitHub avatar

vitoplantamura/OnnxStreamOnnxStream

C++

轻量推理引擎 · vitoplantamura

轻量推理引擎

★ 2.1K+4 本周模型推理与部署6月19日更新

用 C++ 实现的轻量级 ONNX 推理库,可在树莓派等低资源设备及桌面服务器运行 Stable Diffusion、Mistral 等模型,并支持多种处理器架构与 Python、C#、WebAssembly 接口。

模型推理与部署
2.1K+42023年7月14日
microsoft GitHub avatar

microsoft/aiciaici

Rust

可编程大模型推理框架 · microsoft

可编程大模型推理框架

★ 2.1K模型推理与部署2025年1月更新

将提示词编写为 WebAssembly 程序,用于控制大模型推理过程,适合需要构建可编程生成逻辑的模型服务与推理系统开发者;项目基于 Rust 和 Wasmtime。

模型推理与部署
2.1K项目2023年9月27日
siliconflow GitHub avatar

siliconflow/onediffonediff

Jupyter Notebook

扩散模型加速库 · siliconflow

扩散模型加速库

★ 2.0K模型推理与部署2025年12月更新

为扩散模型提供开箱即用的推理加速能力,并支持 PyTorch、Diffusers 与 ComfyUI 等生态,适合优化图像生成工作流和模型部署的开发者。

模型推理与部署
2.0K项目2022年9月21日
liltom-eth GitHub avatar

liltom-eth/llama2-webuillama2-webui

Jupyter Notebook

本地大模型运行工具 · liltom-eth

本地大模型运行工具

★ 1.9K模型推理与部署2024年3月更新

通过 Gradio 界面在 Linux、Windows 和 macOS 上运行 Llama 2,可使用 GPU 或 CPU,并作为本地后端供生成式 Agent 与应用调用。适合希望本地体验或集成模型的开发者。

模型推理与部署
1.9K项目2023年7月20日
marella GitHub avatar

marella/ctransformersctransformers

C

本地大模型推理库 · marella

本地大模型推理库

★ 1.9K模型推理与部署2024年1月更新

提供 Python 绑定,让开发者通过 GGML 运行以 C/C++ 实现的 Transformer 模型,适合将大模型推理集成到 Python 应用或本地项目中,侧重轻量的模型调用接口。

模型推理与部署
1.9K项目2023年5月15日
LuChengTHU GitHub avatar

LuChengTHU/dpm-solverdpm-solver

Python

扩散模型采样求解器 · LuChengTHU

扩散模型采样求解器

★ 1.9K模型推理与部署2024年2月更新

为扩散概率模型提供快速采样的常微分方程求解器,目标是在较少步数内生成样本,适合研究扩散模型及优化图像生成推理效率的开发者。

模型推理与部署
1.9K项目2022年8月7日
easychen GitHub avatar

easychen/openai-api-proxyopenai-api-proxy

JavaScript

OpenAI API 代理 · easychen

OpenAI API 代理

★ 1.6K模型推理与部署2024年3月更新

一行 Docker 命令即可部署的 OpenAI 接口代理,支持 SSE 流式返回与腾讯云函数部署,适合需要在国内转发或统一出口调用 GPT 接口的开发者。

模型推理与部署
1.6K项目2023年3月3日
haibbo GitHub avatar

haibbo/cf-openai-azure-proxycf-openai-azure-proxy

JavaScript

Azure OpenAI 代理 Worker · haibbo

Azure OpenAI 代理 Worker

★ 1.6K模型推理与部署2024年1月更新

基于 Cloudflare Workers 的轻量代理脚本,把 OpenAI 格式请求转发到 Azure OpenAI 服务,适合需要低成本中转与流式响应的开发者。

模型推理与部署
1.6K项目2023年4月4日
RWKV GitHub avatar

RWKV/rwkv.cpprwkv.cpp

C++

RWKV 本地推理引擎 · RWKV

RWKV 本地推理引擎

★ 1.6K模型推理与部署2025年3月更新

基于 ggml 的 RWKV 语言模型 CPU 推理实现,支持 INT4/INT5/INT8 与 FP16 量化,适合在无 GPU 环境下本地运行 RWKV 模型。

模型推理与部署
1.6K项目2023年3月30日
sauravpanda GitHub avatar

sauravpanda/BrowserAIBrowserAI

TypeScript

浏览器本地大模型运行器 · sauravpanda

浏览器本地大模型运行器

★ 1.5K模型推理与部署7月21日更新

在浏览器内借助 WebGPU 运行 llama、deepseek 蒸馏版等本地大模型,还支持语音合成,适合想零部署体验本地推理的开发者。

模型推理与部署
1.5K项目2025年1月8日
GradientHQ GitHub avatar

GradientHQ/parallaxparallax

Python

分布式大模型服务框架 · GradientHQ

分布式大模型服务框架

★ 1.4K+1 本周模型推理与部署7月1日更新

用于构建分布式 AI 集群并提供大模型推理服务的框架,支持在不同环境中组织计算资源,适合部署和运行开源大模型的工程团队。

模型推理与部署
1.4K+12025年9月22日
RahulSChand GitHub avatar

RahulSChand/gpu_poorgpu_poor

JavaScript

大模型显存估算器 · RahulSChand

大模型显存估算器

★ 1.4K+2 本周模型推理与部署2024年12月更新

估算任意大模型推理时的 token/s 与 GPU 显存需求,支持 llama.cpp、bnb、QLoRA 等量化方案,方便选卡和部署前评估。

模型推理与部署
1.4K+22023年9月12日
gotzmann GitHub avatar

gotzmann/llama.gollama.go

Go

Go 语言大模型推理引擎 · gotzmann

Go 语言大模型推理引擎

★ 1.4K模型推理与部署2024年9月更新

用纯 Go 实现的 llama.cpp 类推理引擎,可在本地加载并运行 LLaMA、Alpaca、Vicuna 等模型,适合想用 Go 生态做本地大模型推理的开发者。

模型推理与部署
1.4K项目2023年3月19日
Zefan-Cai GitHub avatar

Zefan-Cai/KVCache-FactoryKVCache-Factory

Python

KV 缓存压缩工具 · Zefan-Cai

KV 缓存压缩工具

★ 1.4K模型推理与部署8月13日更新

面向自回归大模型的统一 KV Cache 压缩方法集合,提供多种压缩策略与实现,适合研究推理加速和显存优化的开发者参考使用。

模型推理与部署
1.4K项目2024年6月5日
yukkcat GitHub avatar

yukkcat/gemini-business2apigemini-business2api

Python

Gemini 转 OpenAI 接口 · yukkcat

Gemini 转 OpenAI 接口

★ 1.3K模型推理与部署5月22日更新

把 Gemini Business 包装成 OpenAI 兼容接口,支持多账号负载均衡与图像、视频生成、文件解析等多模态能力,方便现有客户端直接接入。

模型推理与部署
1.3K项目2025年12月24日
stulzq GitHub avatar

stulzq/azure-openai-proxyazure-openai-proxy

Go

Azure OpenAI 代理 · stulzq

Azure OpenAI 代理

★ 1.3K模型推理与部署2024年6月更新

用 Go 编写的代理服务,把 OpenAI 官方 API 请求转换为 Azure OpenAI 请求,兼容 GPT-4、Embeddings 与 LangChain,适合已有 Azure 资源的团队。

模型推理与部署
1.3K项目2023年3月24日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。