GitHub 市场
GitHub 上值得关注的 AI 项目和 Skills
每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。
Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.
GitHub 项目
按推荐顺序展示的GitHub 项目。 共 254 个。
bigscience-workshop/ petalspetals
Python分布式大模型运行工具 · bigscience-workshop
分布式大模型运行工具
★ 11K+16 本周模型推理与部署2024年9月更新
通过志愿者共享的计算资源,以类似 BitTorrent 的方式在家运行大语言模型,并支持推理与微调;适合希望协同使用模型、分散计算负载的研究者和开发者。
Tiiny-AI/ PowerInferPowerInfer
C++本地大模型推理引擎 · Tiiny-AI
本地大模型推理引擎
★ 9.9K+14 本周模型推理与部署5月11日更新
面向本地部署的大语言模型高性能推理与服务引擎,帮助开发者在本地硬件上运行模型,适合关注推理速度和私有化部署的用户。
coaidev/ coaicoai
TypeScript多模型网关平台 · coaidev
多模型网关平台
★ 9.3K+1 本周模型推理与部署3月12日更新
面向企业和应用开发团队的多租户 AI 平台,统一接入多家模型服务并提供优先级路由、成本管理、文件解析、搜索及计费能力,适合构建和运营 LLM 应用。
dusty-nv/ jetson-inferencejetson-inference
C++边缘深度学习推理工具 · dusty-nv
边缘深度学习推理工具
★ 9.0K+1 本周模型推理与部署2025年10月更新
提供在 NVIDIA Jetson 设备上部署深度学习推理网络和计算机视觉能力的指南与示例,适合嵌入式 AI 开发者进行图像识别、目标检测和分割等应用。
nebuly-ai/ optimateoptimate
Python模型性能优化工具 · nebuly-ai
模型性能优化工具
★ 8.3K模型推理与部署2024年7月更新
一组用于优化 AI 模型性能的 Python 库,面向模型开发者与部署团队,帮助提升深度学习及大语言模型的运行效率。
01-ai/ YiYi
Jupyter Notebook通义千问大模型 · 01-ai
通义千问大模型
★ 7.8K模型推理与部署2024年11月更新
由 01.AI 团队从头训练的大语言模型系列,适合研究者与开发者用于文本理解、生成及模型实验;项目提供模型权重与相关资源。
AbdBarho/ stable-diffusion-webui-dockerstable-diffusion-webui-docker
Shell图像生成部署工具 · AbdBarho
图像生成部署工具
★ 7.3K模型推理与部署2024年8月更新
通过 Docker 快速部署带有用户界面的 Stable Diffusion 环境,降低本地运行门槛,适合希望自托管图像生成服务并使用容器管理环境的用户。
PaddlePaddle/ Paddle-LitePaddle-Lite
C++端侧推理引擎 · PaddlePaddle
端侧推理引擎
★ 7.3K+2 本周模型推理与部署4月27日更新
面向移动设备和边缘硬件的高性能深度学习推理引擎,支持多种处理器与加速硬件,适合需要在端侧部署模型的开发者。
thtrieu/ darkflowdarkflow
PythonDarknet 转 TensorFlow 工具 · thtrieu
Darknet 转 TensorFlow 工具
★ 6.1K模型推理与部署2023年10月更新
把 Darknet 模型迁移到 TensorFlow 的工具,可加载预训练权重、继续微调并导出静态图部署到移动端,适合做目标检测落地与模型移植的开发者。
baichuan-inc/ Baichuan-7BBaichuan-7B
Python百川七十亿模型 · baichuan-inc
百川七十亿模型
★ 5.6K模型推理与部署2024年7月更新
百川智能发布的 70 亿参数预训练语言模型,面向中文及通用语言任务,可用于研究、评测和下游应用开发,适合希望基于开源模型开展实验的开发者。
winfunc/ deepreasoningdeepreasoning
Rust推理链聊天推理服务 · winfunc
推理链聊天推理服务
★ 5.4K模型推理与部署2025年10月更新
用 Rust 编写的高性能大模型推理 API 与聊天界面,把 DeepSeek R1 的思维链推理与 Claude 模型结合,适合想对比和展示推理过程的开发者。
XiaoMi/ macemace
C++移动端深度学习推理框架 · XiaoMi
移动端深度学习推理框架
★ 5.1K模型推理与部署2024年6月更新
小米开源的高性能深度学习推理框架,针对手机等移动异构平台优化,支持 NEON、OpenCL 等加速,适合在端侧部署神经网络模型的开发者。
GaiaNet-AI/ gaianet-nodegaianet-node
Shell去中心化Agent节点 · GaiaNet-AI
去中心化Agent节点
★ 5.0K模型推理与部署2025年10月更新
用于安装、运行和部署自有的去中心化 AI Agent 服务,面向希望搭建个人或社区 Agent 服务的开发者,支持与区块链及工具生态结合。
zai-org/ GLM-4.5GLM-4.5
Python智能推理基础模型 · zai-org
智能推理基础模型
★ 4.4K+2 本周模型推理与部署2月1日更新
面向智能体、推理与代码任务的基础模型项目,提供 GLM-4.5 模型相关资源,适合研究人员和开发者探索大语言模型在复杂推理及编程场景中的能力。
baichuan-inc/ Baichuan2Baichuan2
Python百川大语言模型 · baichuan-inc
百川大语言模型
★ 4.1K模型推理与部署2024年11月更新
百川智能开发的一系列大语言模型,面向中文与通用自然语言处理任务,可供研究者和开发者用于模型评测、应用开发及相关实验。
thu-ml/ SageAttentionSageAttention
Cuda量化注意力加速库 · thu-ml
量化注意力加速库
★ 4.0K+9 本周模型推理与部署1月18日更新
面向大模型与图像、视频生成模型的量化注意力实现,相比 FlashAttention 可提速 2–5 倍且不损失端到端指标,适合做推理加速的工程与研究人员。
PublicAffairs/ openai-geminiopenai-gemini
JavaScriptGemini 转 OpenAI 代理 · PublicAffairs
Gemini 转 OpenAI 代理
★ 3.7K模型推理与部署3月18日更新
把 Gemini API 转换成 OpenAI 兼容接口的无服务器代理,让现有 OpenAI SDK 和应用无需改代码即可调用 Gemini 模型。
MiniMax-AI/ MiniMax-M1MiniMax-M1
Python混合推理大模型 · MiniMax-AI
混合推理大模型
★ 3.2K模型推理与部署2025年7月更新
MiniMax-M1 是采用混合注意力架构的开放权重大规模推理模型,面向需要部署或研究大语言模型的开发者与研究人员。
li-plus/ chatglm.cppchatglm.cpp
C++ChatGLM推理引擎 · li-plus
ChatGLM推理引擎
★ 3.0K模型推理与部署2024年7月更新
用 C++ 实现 ChatGLM 系列模型的本地推理,支持多个 GLM 版本,适合希望在本地或边缘环境运行中文大模型的开发者。
baichuan-inc/ Baichuan-13BBaichuan-13B
Python中文大语言模型 · baichuan-inc
中文大语言模型
★ 2.9K+1 本周模型推理与部署2023年9月更新
由百川智能开发的 130 亿参数大语言模型,面向中文及多语言自然语言处理与对话应用;相关资源包含模型与基准评测信息,适合研究者和开发者进行使用与评估。
MartialBE/ one-hubone-hub
GoOpenAI 接口分发系统 · MartialBE
OpenAI 接口分发系统
★ 2.9K模型推理与部署2月20日更新
基于 one-api 改造的 OpenAI 接口管理与分发平台,支持更多模型、用量统计页面,并完善了非 OpenAI 模型的函数调用,适合自建 API 中转服务的团队。
FasterDecoding/ MedusaMedusa
Jupyter Notebook多头解码加速框架 · FasterDecoding
多头解码加速框架
★ 2.8K+1 本周模型推理与部署2024年6月更新
通过多个解码头并行预测后续 token 来加速大模型生成,可作为投机解码方案接入现有推理流程,适合研究推理加速的开发者。
ohmplatform/ FreedomGPTFreedomGPT
TypeScript本地离线大模型客户端 · ohmplatform
本地离线大模型客户端
★ 2.7K+4 本周模型推理与部署2024年6月更新
基于 React 与 Electron 的桌面聊天应用,在 Mac 和 Windows 上本地离线运行大模型,适合注重隐私、不想把对话上传云端的用户。
SafeAILab/ EAGLEEAGLE
Python大模型推测解码 · SafeAILab
大模型推测解码
★ 2.6K+3 本周模型推理与部署2月20日更新
实现 EAGLE 系列大语言模型推测解码方法,通过辅助预测加速模型生成,并提供多个研究版本的官方代码,适合关注推理性能的研究者与开发者。
CJackHwang/ AIstudioProxyAPIAIstudioProxyAPI
PythonAI Studio 代理网关 · CJackHwang
AI Studio 代理网关
★ 2.5K+4 本周模型推理与部署4月22日更新
用 FastAPI 与 Playwright 把 Google AI Studio 网页对话包装成兼容 OpenAI 格式的 API,支持参数转发并自带调试面板,适合想低成本调用 Gemini 的开发者。
xusenlinzy/ api-for-open-llmapi-for-open-llm
Python开源大模型统一接口 · xusenlinzy
开源大模型统一接口
★ 2.5K模型推理与部署2024年9月更新
为 LLaMA、Qwen、ChatGLM、Baichuan 等开源大模型提供 OpenAI 风格的统一 API 后端,方便现有 ChatGPT 客户端和 LangChain 应用直接接入本地模型。
jwadow/ kiro-gatewaykiro-gateway
Python模型代理网关 · jwadow
模型代理网关
★ 2.4K+5 本周模型推理与部署5月19日更新
为 Kiro IDE 与命令行提供代理 API 网关,可将 Claude 模型接入其他兼容客户端,适合需要统一模型访问入口的开发者。
dvmazur/ mixtral-offloadingmixtral-offloading
PythonMixtral 显存卸载运行 · dvmazur
Mixtral 显存卸载运行
★ 2.3K+1 本周模型推理与部署2024年4月更新
通过量化与卸载技术,让 Mixtral-8x7B 这类混合专家大模型能在 Colab 或消费级显卡上运行,适合显存有限但想本地体验大模型的用户。
TigerResearch/ TigerBotTigerBot
Python多语言大模型 · TigerResearch
多语言大模型
★ 2.3K模型推理与部署2024年12月更新
提供面向多语言、多任务场景的大语言模型及相关资源,聚焦中文与自然语言处理应用。适合希望使用或研究多语言模型的开发者和研究人员。
RightNow-AI/ picolmpicolm
C嵌入式大模型推理工具 · RightNow-AI
嵌入式大模型推理工具
★ 2.2K模型推理与部署2月23日更新
面向资源受限设备运行约 10 亿参数大语言模型的推理工具,目标硬件仅需 256MB 内存,适合在低成本开发板及嵌入式平台探索本地模型部署。
LinkSoul-AI/ Chinese-Llama-2-7bChinese-Llama-2-7b
Python中文大语言模型 · LinkSoul-AI
中文大语言模型
★ 2.2K模型推理与部署2023年10月更新
基于 LLaMA 2 的中文开源大语言模型,提供可下载、可运行的模型,适合研究者和开发者进行本地推理与应用实验。
TimmyOVO/ deepseek-ocr.rsdeepseek-ocr.rs
RustRust 本地 OCR 引擎 · TimmyOVO
Rust 本地 OCR 引擎
★ 2.2K模型推理与部署2月21日更新
用 Rust 实现的多后端 OCR 与视觉语言模型推理引擎,支持 DeepSeek-OCR、PaddleOCR-VL 等模型,提供兼容 OpenAI 的服务端和命令行,无需 Python 即可本地运行。
vitoplantamura/ OnnxStreamOnnxStream
C++轻量推理引擎 · vitoplantamura
轻量推理引擎
★ 2.1K+4 本周模型推理与部署6月19日更新
用 C++ 实现的轻量级 ONNX 推理库,可在树莓派等低资源设备及桌面服务器运行 Stable Diffusion、Mistral 等模型,并支持多种处理器架构与 Python、C#、WebAssembly 接口。
microsoft/ aiciaici
Rust可编程大模型推理框架 · microsoft
可编程大模型推理框架
★ 2.1K模型推理与部署2025年1月更新
将提示词编写为 WebAssembly 程序,用于控制大模型推理过程,适合需要构建可编程生成逻辑的模型服务与推理系统开发者;项目基于 Rust 和 Wasmtime。
siliconflow/ onediffonediff
Jupyter Notebook扩散模型加速库 · siliconflow
扩散模型加速库
★ 2.0K模型推理与部署2025年12月更新
为扩散模型提供开箱即用的推理加速能力,并支持 PyTorch、Diffusers 与 ComfyUI 等生态,适合优化图像生成工作流和模型部署的开发者。
liltom-eth/ llama2-webuillama2-webui
Jupyter Notebook本地大模型运行工具 · liltom-eth
本地大模型运行工具
★ 1.9K模型推理与部署2024年3月更新
通过 Gradio 界面在 Linux、Windows 和 macOS 上运行 Llama 2,可使用 GPU 或 CPU,并作为本地后端供生成式 Agent 与应用调用。适合希望本地体验或集成模型的开发者。
marella/ ctransformersctransformers
C本地大模型推理库 · marella
本地大模型推理库
★ 1.9K模型推理与部署2024年1月更新
提供 Python 绑定,让开发者通过 GGML 运行以 C/C++ 实现的 Transformer 模型,适合将大模型推理集成到 Python 应用或本地项目中,侧重轻量的模型调用接口。
LuChengTHU/ dpm-solverdpm-solver
Python扩散模型采样求解器 · LuChengTHU
扩散模型采样求解器
★ 1.9K模型推理与部署2024年2月更新
为扩散概率模型提供快速采样的常微分方程求解器,目标是在较少步数内生成样本,适合研究扩散模型及优化图像生成推理效率的开发者。
easychen/ openai-api-proxyopenai-api-proxy
JavaScriptOpenAI API 代理 · easychen
OpenAI API 代理
★ 1.6K模型推理与部署2024年3月更新
一行 Docker 命令即可部署的 OpenAI 接口代理,支持 SSE 流式返回与腾讯云函数部署,适合需要在国内转发或统一出口调用 GPT 接口的开发者。
haibbo/ cf-openai-azure-proxycf-openai-azure-proxy
JavaScriptAzure OpenAI 代理 Worker · haibbo
Azure OpenAI 代理 Worker
★ 1.6K模型推理与部署2024年1月更新
基于 Cloudflare Workers 的轻量代理脚本,把 OpenAI 格式请求转发到 Azure OpenAI 服务,适合需要低成本中转与流式响应的开发者。
RWKV/ rwkv.cpprwkv.cpp
C++RWKV 本地推理引擎 · RWKV
RWKV 本地推理引擎
★ 1.6K模型推理与部署2025年3月更新
基于 ggml 的 RWKV 语言模型 CPU 推理实现,支持 INT4/INT5/INT8 与 FP16 量化,适合在无 GPU 环境下本地运行 RWKV 模型。
sauravpanda/ BrowserAIBrowserAI
TypeScript浏览器本地大模型运行器 · sauravpanda
浏览器本地大模型运行器
★ 1.5K模型推理与部署7月21日更新
在浏览器内借助 WebGPU 运行 llama、deepseek 蒸馏版等本地大模型,还支持语音合成,适合想零部署体验本地推理的开发者。
GradientHQ/ parallaxparallax
Python分布式大模型服务框架 · GradientHQ
分布式大模型服务框架
★ 1.4K+1 本周模型推理与部署7月1日更新
用于构建分布式 AI 集群并提供大模型推理服务的框架,支持在不同环境中组织计算资源,适合部署和运行开源大模型的工程团队。
RahulSChand/ gpu_poorgpu_poor
JavaScript大模型显存估算器 · RahulSChand
大模型显存估算器
★ 1.4K+2 本周模型推理与部署2024年12月更新
估算任意大模型推理时的 token/s 与 GPU 显存需求,支持 llama.cpp、bnb、QLoRA 等量化方案,方便选卡和部署前评估。
gotzmann/ llama.gollama.go
GoGo 语言大模型推理引擎 · gotzmann
Go 语言大模型推理引擎
★ 1.4K模型推理与部署2024年9月更新
用纯 Go 实现的 llama.cpp 类推理引擎,可在本地加载并运行 LLaMA、Alpaca、Vicuna 等模型,适合想用 Go 生态做本地大模型推理的开发者。
Zefan-Cai/ KVCache-FactoryKVCache-Factory
PythonKV 缓存压缩工具 · Zefan-Cai
KV 缓存压缩工具
★ 1.4K模型推理与部署8月13日更新
面向自回归大模型的统一 KV Cache 压缩方法集合,提供多种压缩策略与实现,适合研究推理加速和显存优化的开发者参考使用。
yukkcat/ gemini-business2apigemini-business2api
PythonGemini 转 OpenAI 接口 · yukkcat
Gemini 转 OpenAI 接口
★ 1.3K模型推理与部署5月22日更新
把 Gemini Business 包装成 OpenAI 兼容接口,支持多账号负载均衡与图像、视频生成、文件解析等多模态能力,方便现有客户端直接接入。
stulzq/ azure-openai-proxyazure-openai-proxy
GoAzure OpenAI 代理 · stulzq
Azure OpenAI 代理
★ 1.3K模型推理与部署2024年6月更新
用 Go 编写的代理服务,把 OpenAI 官方 API 请求转换为 Azure OpenAI 请求,兼容 GPT-4、Embeddings 与 LangChain,适合已有 Azure 资源的团队。
找不到你要的项目或 Skill?
告诉我们仓库地址和用途,帮助补充你希望收录的项目。
请求收录
接着逛逛 RZH.AI
模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。