GitHub 市场
GitHub 上值得关注的 AI 项目和 Skills
每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。
Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.
GitHub 项目
按推荐顺序展示的GitHub 项目。 共 254 个。
davemessew/ AgentFluxAgentFlux
TypeScriptdavemessew
Agentic AI platform for visual workflows and autonomous agents. Run it with Docker on your own computer or server.
★ 281+102 本周模型推理与部署10月30日更新
Agentic AI platform for visual workflows and autonomous agents. Run it with Docker on your own computer or server.
mostlygeek/ llama-swapllama-swap
Go本地模型切换服务 · mostlygeek
本地模型切换服务
★ 6.3K+38 本周模型推理与部署11月19日更新
为本地 AI 推理服务器提供模型切换与统一 API 接入,支持 llama.cpp、vLLM 等服务,适合需要在多个本地模型间管理和切换的开发者。
raullenchai/ Rapid-MLXRapid-MLX
PythonApple 芯片本地推理服务 · raullenchai
Apple 芯片本地推理服务
★ 4.2K+33 本周模型推理与部署11月19日更新
面向 Apple Silicon 的开源大模型推理服务,兼容 OpenAI 与 Anthropic 接口,基于 MLX 并针对编码 Agent 的工具调用做了优化,同权重下比 mlx-lm 快数倍,适合在 Mac 上本地跑模型的开发者。
NVIDIA-NeMo/ SwitchyardSwitchyard
RustLLM 多模型路由网关 · NVIDIA-NeMo
LLM 多模型路由网关
★ 3.7K模型推理与部署11月19日更新
用 Rust 编写的 LLM 流量路由层,在保持 OpenAI 与 Anthropic 原生 API 兼容的同时,把请求分发到不同模型和供应商,便于选型、基准测试与成本优化。
Wei-Shaw/ claude-relay-serviceclaude-relay-service
JavaScript大模型中转服务 · Wei-Shaw
大模型中转服务
★ 13K+20 本周模型推理与部署11月19日更新
自托管的多模型 API 中转服务,可将 Claude、OpenAI、Gemini 等订阅统一接入,并支持共享与成本分摊,适合需要统一管理模型访问的团队和开发者。
arcboxlabs/ arcboxarcbox
Rust智能体隔离运行平台 · arcboxlabs
智能体隔离运行平台
★ 4.3K+36 本周模型推理与部署11月16日更新
用纯 Rust 构建本地优先的 AI Agent 运行环境,在隔离的真实机器中提供独立内核、文件系统和网络,兼容 OCI,启动时间低于 100 毫秒,适合需要沙箱执行的开发者。
looplj/ axonhubaxonhub
Go大模型统一网关 · looplj
大模型统一网关
★ 5.5K+27 本周模型推理与部署11月19日更新
开源 AI 网关,可通过不同 SDK 接入上百种大模型,并提供故障切换、负载均衡、成本控制和端到端追踪,适合需要统一管理多家模型 API 的开发团队。
mlc-ai/ web-llmweb-llm
TypeScript浏览器大模型推理引擎 · mlc-ai
浏览器大模型推理引擎
★ 19K+22 本周模型推理与部署11月18日更新
在浏览器中运行大语言模型的高性能推理引擎,利用 WebGPU 等技术进行加速,适合开发者构建无需服务器后端的网页端大模型应用。
qualcomm/ GenieXGenieX
Go高通端侧大模型SDK · qualcomm
高通端侧大模型SDK
★ 8.5K+25 本周模型推理与部署11月18日更新
高通推出的端侧推理 SDK,几行代码即可在骁龙设备的 NPU、GPU 和 CPU 上本地运行大语言模型与视觉语言模型,适合移动端 AI 应用开发者。
Tencent/ ncnnncnn
C++移动端推理框架 · Tencent
移动端推理框架
★ 24K+21 本周模型推理与部署11月17日更新
面向移动设备优化的高性能神经网络推理框架,支持 ARM 等平台及 Vulkan 加速,适合将深度学习模型部署到 Android、iOS 等设备的开发者。
off-grid-ai/ OGAMOGAM
TypeScript离线本地 AI 工具箱 · off-grid-ai
离线本地 AI 工具箱
★ 3.4K+31 本周模型推理与部署11月19日更新
在手机或 Mac 上离线运行 GGUF 大模型,支持视觉、Whisper 语音转写、Stable Diffusion 生图和工具调用,无需账号和 API Key,数据不出设备。
AtomicBot-ai/ Atomic-ChatAtomic-Chat
TypeScript本地大模型运行工具 · AtomicBot-ai
本地大模型运行工具
★ 2.0K+40 本周模型推理与部署11月19日更新
面向桌面用户的本地 AI 应用与推理引擎,可离线运行开放权重语言模型并支持 Agent 使用,适合重视隐私、希望在个人电脑运行模型的用户。
synchopate/ llama-modchipllama-modchip
PythonCPU 大模型推理优化 · synchopate
CPU 大模型推理优化
★ 1.4K模型推理与部署11月19日更新
在 64GB 纯 CPU 环境运行 284B DeepSeek 与 30B MoE 模型的推理优化方案,结合 AVX512、投机解码等技术,适合无 GPU 的本地部署玩家。
PrismML-Eng/ Bonsai-demoBonsai-demo
Shell小模型本地运行演示 · PrismML-Eng
小模型本地运行演示
★ 3.5K+24 本周模型推理与部署11月5日更新
PrismML 出品的演示项目,展示如何用 llama.cpp 与 MLX 在本地运行小型语言模型,适合想体验轻量模型本地推理的开发者参考。
badrisnarayanan/ antigravity-claude-proxyantigravity-claude-proxy
JavaScriptClaude 模型代理网关 · badrisnarayanan
Claude 模型代理网关
★ 4.1K+25 本周模型推理与部署11月16日更新
把 Antigravity 提供的 Claude 与 Gemini 模型包装成兼容接口,让 Claude Code、OpenClaw 等客户端直接调用,适合想复用已有模型额度做本地开发的用户。
SemiAnalysisAI/ InferenceXInferenceX
Python推理加速器评测平台 · SemiAnalysisAI
推理加速器评测平台
★ 2.1K+33 本周模型推理与部署11月19日更新
开源的 AI 加速器推理研究平台,基于 vLLM、SGLang 等在 NVIDIA、AMD 等硬件上做推理性能基准测试,适合研究者和工程师评估硬件与推理方案。
lightseekorg/ tokenspeedtokenspeed
Python高速大模型推理引擎 · lightseekorg
高速大模型推理引擎
★ 2.9K+17 本周模型推理与部署11月19日更新
主打极致速度的 LLM 推理引擎,支持 DeepSeek、Qwen、Kimi、GLM 等主流模型及视觉语言模型,适合追求低延迟高吞吐的部署场景。
Soju06/ codex-lbcodex-lb
PythonCodex 多账号负载均衡 · Soju06
Codex 多账号负载均衡
★ 3.5K+23 本周模型推理与部署11月18日更新
为 Codex/ChatGPT 提供多账号负载均衡与代理,带用量统计、仪表盘和 OpenCode 兼容端点,适合团队分摊调用额度。
tbphp/ gpt-loadgpt-load
Go自托管大模型网关 · tbphp
自托管大模型网关
★ 7.2K+19 本周模型推理与部署11月18日更新
自托管的大模型 API 网关,可统一管理多渠道与多凭据,提供调度、故障切换、请求日志和用量统计,适合需要集中接入多种模型服务的开发团队。
vllm-project/ semantic-routersemantic-router
Go语义路由决策层 · vllm-project
语义路由决策层
★ 6.5K模型推理与部署11月19日更新
面向模型与算力的可编程决策层,按语义把请求路由到不同模型或推理后端,适合在 Kubernetes 上做多模型调度、网关与护栏的团队。
theagentrouter/ agent-routeragent-router
Go大模型统一接入网关 · theagentrouter
大模型统一接入网关
★ 2.4K+37 本周模型推理与部署11月19日更新
基于 Envoy Gateway 管理对多种生成式 AI 服务的统一访问,面向需要在 Kubernetes 环境中集中接入和治理模型推理服务的团队。
Helldez/ BigMoeOnEdgeBigMoeOnEdge
C++边缘 MoE 流式推理 · Helldez
边缘 MoE 流式推理
★ 1.0K模型推理与部署11月19日更新
让手机、笔记本等边缘设备运行超出内存容量的 MoE 大模型,基于原生 llama.cpp 做自适应流式优化,并提供本地 OpenAI 兼容接口。
HRuiCcc/ RuiC-oc-ferryRuiC-oc-ferry
JavaScript大模型本地转发工具 · HRuiCcc
大模型本地转发工具
★ 540+37 本周模型推理与部署11月1日更新
将 OpenCode 可用的模型转发给 WorkBuddy,提供隔离运行、并发检测、判定缓存和一键导入,并支持本机 OpenAI 兼容接口。适合需要在桌面应用间共享模型的用户。
NVIDIA/ TensorRTTensorRT
C++TensorRT 推理加速 SDK · NVIDIA
TensorRT 推理加速 SDK
★ 13K+21 本周模型推理与部署11月19日更新
NVIDIA 官方的高性能深度学习推理 SDK,在 NVIDIA GPU 上加速模型部署,包含开源组件,适合需要低延迟高吞吐推理的工程团队。
dwgx/ WindsurfAPIWindsurfAPI
JavaScript多模型兼容代理 · dwgx
多模型兼容代理
★ 3.1K+17 本周模型推理与部署11月18日更新
将 Windsurf 与 Devin Desktop 提供的多种 AI 模型转换为 OpenAI、Anthropic 和 Gemini 兼容接口,适合自托管并接入 Claude Code、Cline 或 Cursor。
qixing-jk/ all-api-huball-api-hub
TypeScript大模型中转账号管理工具 · qixing-jk
大模型中转账号管理工具
★ 5.1K+17 本周模型推理与部署11月18日更新
集中管理 New-API、Sub2API 等中转服务账号,提供余额与用量查看、自动签到、密钥管理、价格比较和渠道健康检查,适合同时使用多个模型接口的用户。
triton-inference-server/ serverserver
PythonTriton 推理服务 · triton-inference-server
Triton 推理服务
★ 11K+18 本周模型推理与部署11月19日更新
面向云端与边缘的高性能模型推理服务器,支持多框架模型部署、GPU 加速与动态批处理,适合需要生产级模型服务的工程团队。
justlovemaki/ AIClient2APIAIClient2API
JavaScript多协议AI代理 · justlovemaki
多协议AI代理
★ 9.0K+10 本周模型推理与部署11月18日更新
自托管的 AI API 代理,可统一接入多家模型与服务商,并在 OpenAI、Claude、Gemini 等协议间转换。适合需要集中管理模型入口、配置服务商池和故障切换的开发者。
vllm-project/ vllm-metalvllm-metal
Python苹果芯片推理插件 · vllm-project
苹果芯片推理插件
★ 2.0K+17 本周模型推理与部署11月18日更新
为 vLLM 提供社区维护的 Apple Silicon 硬件插件,利用 Metal 支持在苹果芯片设备上运行大模型推理,适合希望在 macOS 本地探索 vLLM 的开发者。
receptron/ layalaya
TypeScriptLaya 决策模型运行库 · receptron
Laya 决策模型运行库
★ 1.1K+21 本周模型推理与部署10月17日更新
在 Node.js/TypeScript 中通过 ONNX Runtime 本地运行 Laya 决策模型,适合需要在应用内嵌入轻量分类与决策推理的开发者,无需依赖云端服务。
EricLBuehler/ mistral.rsmistral.rs
RustRust 大模型推理引擎 · EricLBuehler
Rust 大模型推理引擎
★ 7.8K+19 本周模型推理与部署11月9日更新
用 Rust 编写的高性能 LLM 推理引擎,支持多种模型格式与量化,追求速度与灵活部署,适合需要在本地或服务端运行大模型的开发者。
kvcache-ai/ MooncakeMooncake
C++Kimi 推理服务平台 · kvcache-ai
Kimi 推理服务平台
★ 7.1K模型推理与部署11月18日更新
Moonshot AI 为 Kimi 打造的 LLM 推理服务平台,支持 KV 缓存、RDMA 与预填充解码分离,适合大规模模型部署与推理优化场景。
cobanov/ PS5LMPS5LM
C++PS5本地大模型运行工具 · cobanov
PS5本地大模型运行工具
★ 857+24 本周模型推理与部署11月16日更新
将 llama.cpp 移植到已破解的 PlayStation 5,可在主机上原生运行 GGUF 格式模型,适合希望在游戏主机上实验本地大模型推理的开发者。
Arthur-Ficial/ apfelapfel
SwiftMac 本地 AI 命令行 · Arthur-Ficial
Mac 本地 AI 命令行
★ 6.6K模型推理与部署11月18日更新
在 Mac 上通过 Apple Intelligence 本地运行大模型,提供命令行工具、OpenAI 兼容服务和交互式对话,无需 API 密钥或云端,适合注重隐私的开发者。
RunanywhereAI/ runanywhere-sdksrunanywhere-sdks
C++端侧 AI 运行工具包 · RunanywhereAI
端侧 AI 运行工具包
★ 10K+7 本周模型推理与部署11月11日更新
面向 iOS、Android 等端的本地 AI 推理 SDK,支持大模型、多模态与语音能力,适合想在移动设备上离线运行模型的开发者。
BlockRunAI/ ClawRouterClawRouter
TypeScript智能大模型路由器 · BlockRunAI
智能大模型路由器
★ 6.7K+3 本周模型推理与部署11月19日更新
面向自主 Agent 的大模型路由工具,可通过统一钱包接入多种前沿模型,并在本地快速选择路由;支持以 USDC 在 Base 和 Solana 网络支付。
bentoml/ OpenLLMOpenLLM
Python大模型部署服务框架 · bentoml
大模型部署服务框架
★ 13K+12 本周模型推理与部署11月17日更新
将 DeepSeek、Llama 等开源大模型部署为兼容 OpenAI 接口的 API 服务,面向需要在云端运行和提供模型推理服务的团队。
apache/ tvmtvm
Python深度学习编译器框架 · apache
深度学习编译器框架
★ 14K+11 本周模型推理与部署11月19日更新
Apache 开源的机器学习编译框架,把模型编译到 CPU、GPU 及多种加速器上运行,适合需要跨硬件部署和优化推理性能的开发者与研究者。
superlinked/ siesie
Python向量检索推理服务 · superlinked
向量检索推理服务
★ 3.5K+23 本周模型推理与部署11月19日更新
开源的推理服务器与生产集群,为 Agent 提供嵌入、向量检索等模型服务,适合需要自建检索与推理基础设施的团队。
xorbitsai/ inferenceinference
Python多模态模型推理平台 · xorbitsai
多模态模型推理平台
★ 9.7K+12 本周模型推理与部署11月18日更新
开源推理平台,可部署语言、视觉、嵌入、重排、图像、音频和视频模型,支持多引擎与异构硬件,并通过 OpenAI 兼容 API 提供服务。
InternLM/ lmdeploylmdeploy
Python大模型推理部署工具 · InternLM
大模型推理部署工具
★ 8.2K+10 本周模型推理与部署11月18日更新
面向大模型的压缩、部署与推理服务工具包,支持量化、CUDA 加速和多种主流模型,适合需要自建高性能 LLM 推理服务的开发者与运维团队。
kaitranntt/ ccsccs
TypeScript多模型账号切换工具 · kaitranntt
多模型账号切换工具
★ 2.9K+10 本周模型推理与部署11月17日更新
通过命令行与 OAuth 代理切换 Claude、Gemini、Copilot、OpenRouter 等服务账号和模型,提供可视化面板及远程代理支持,适合需要管理多家 AI 服务的开发者。
rynfar/ meridianmeridian
TypeScript大模型本地代理工具 · rynfar
大模型本地代理工具
★ 2.2K+9 本周模型推理与部署11月18日更新
提供连接 Claude、Antigravity 与多种编程客户端的本地 API 桥接,并附带用量仪表盘和 macOS 应用,适合需要在不同 AI 编程工具间切换的开发者。
BenedictKing/ ccxccx
Go多模型API代理 · BenedictKing
多模型API代理
★ 4.0K+3 本周模型推理与部署11月19日更新
用 Go 编写的 API 代理,面向 Claude、Codex 和 Gemini 等服务统一转发请求,适合需要通过代理接入多种模型 API 的开发者。
huawei-csl/ MACaQMACaQ
C++通用模型量化工具 · huawei-csl
通用模型量化工具
★ 370模型推理与部署11月17日更新
与模型无关的 SOTA 量化方案,支持 GGUF 及本地推理,可配合 llama.cpp、vLLM、Diffusers 和 PyTorch 量化运行文本、图像、视频与音频模型。
OmniJev/ FlideFlide
Python决策模型推理引擎 · OmniJev
决策模型推理引擎
★ 543模型推理与部署11月16日更新
面向决策模型的高性能推理引擎,支持 Gemma、Qwen 等模型,基于 PyTorch、Triton 与 CUDA 做确定性推理和 KV 缓存优化,适合部署低延迟 Agent 服务。
ROCm/ FastFlowLMFastFlowLM
C++AMD NPU 大模型推理工具 · ROCm
AMD NPU 大模型推理工具
★ 2.1K+14 本周模型推理与部署11月19日更新
针对 AMD Ryzen AI 神经处理单元优化的大模型运行工具,可帮助用户快速在兼容设备上部署和运行 LLM;适合使用 AMD NPU 进行本地推理的开发者。
chrishayuk/ larqllarql
RustRust 模型运行时 · chrishayuk
Rust 模型运行时
★ 1.2K+10 本周模型推理与部署11月19日更新
用 Rust 编写的 AI 模型运行时,基于可执行、可检查的 VINDEX3 模型格式,支持运行、服务、查询和编辑模型,适合关注推理部署与模型可解释性的开发者。
找不到你要的项目或 Skill?
告诉我们仓库地址和用途,帮助补充你希望收录的项目。
请求收录
接着逛逛 RZH.AI
模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。