GitHub 市场
GitHub 上值得关注的 AI 项目和 Skills
每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。
Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.
GitHub 项目
按推荐顺序展示的GitHub 项目。 共 254 个。
Ebony-Vinyl/ dsh-our-free-modeldsh-our-free-model
JavaScript免费模型接入插件 · Ebony-Vinyl
免费模型接入插件
★ 80K+9.9k 本周模型推理与部署11月18日更新
为 dsh 提供无需注册、登录或填写 API Key 的模型接入方式,宣称可免费不限量使用多种前沿大模型。适合希望快速试用模型、减少配置步骤的开发者。
cheaper-inference/ OmniRouteOmniRoute
TypeScript多模型统一接入网关 · cheaper-inference
多模型统一接入网关
★ 89K+2.1k 本周模型推理与部署11月19日更新
通过统一接口接入多家模型服务,适合使用编程助手的开发者;支持按配额自动切换服务、压缩上下文,并提供桌面端与网页应用。
router-for-me/ CLIProxyAPICLIProxyAPI
Go模型接口代理服务 · router-for-me
模型接口代理服务
★ 59K+651 本周模型推理与部署11月19日更新
将多种编程助手封装为兼容 OpenAI、Gemini、Claude 与 Codex 的接口服务,方便开发者通过统一接口接入相关模型。
shanselman/ gputaskmangputaskman
PythonGPU 任务管理器 · shanselman
GPU 任务管理器
★ 3.5K+1.5k 本周模型推理与部署11月19日更新
面向 Windows、Linux 和 WSL 的 GPU 任务管理器,按进程查看显存占用与 GPU 活动,并给出大模型与 KV 缓存占用洞察,支持 NVIDIA、AMD、Intel 及昇腾显卡,适合本地跑模型的开发者。
Continuum-AI-Corp/ OrcaRouter-LiteOrcaRouter-Lite
Python自托管大模型路由 · Continuum-AI-Corp
自托管大模型路由
★ 3.4K+1.4k 本周模型推理与部署10月8日更新
可自托管的 LLM 路由网关,兼容 OpenAI 接口,支持自带密钥、流式输出与单工作区管理,适合需要统一接入多家模型 API 的团队。
lyogavin/ airllmairllm
Jupyter Notebook大模型推理工具 · lyogavin
大模型推理工具
★ 43K+465 本周模型推理与部署11月18日更新
通过分层加载模型权重,在显存有限的环境中运行超大语言模型,目标是让单张 4GB 显卡也能进行推理,适合资源受限的模型开发者。
Wei-Shaw/ sub2apisub2api
Go大模型订阅中转服务 · Wei-Shaw
大模型订阅中转服务
★ 46K+403 本周模型推理与部署11月19日更新
提供统一接入 Claude、OpenAI、Gemini 和 Grok 等模型订阅的开源中转服务,支持共享分摊成本,并让原生工具接入模型,适合需要集中管理多家模型接口的用户。
chatanywhere/ GPT_API_freeGPT_API_free
免费大模型接口服务 · chatanywhere
免费大模型接口服务
★ 46K+443 本周模型推理与部署10月30日更新
提供可调用 GPT、DeepSeek 等主流模型的 API,并介绍免费额度及付费调用方案,适合希望通过统一接口体验多种大模型的开发者。
FareedKhan-dev/ kimi-k3-in-ckimi-k3-in-c
C轻量大模型推理引擎 · FareedKhan-dev
轻量大模型推理引擎
★ 12K+575 本周模型推理与部署11月16日更新
以可移植 C99 实现大模型推理,目标是在单颗 CPU 和有限内存中运行超大参数模型,无需 BLAS、深度学习框架或 GPU。适合研究低资源推理实现的开发者。
sgl-project/ sglangsglang
Python大模型推理服务框架 · sgl-project
大模型推理服务框架
★ 39K+280 本周模型推理与部署11月19日更新
面向大语言模型与多模态模型的高性能推理和服务框架,支持多种模型架构及 GPU 加速,适合需要部署、扩展模型服务的开发者。
decolua/ 9router9router
JavaScript多模型编程网关 · decolua
多模型编程网关
★ 33K+332 本周模型推理与部署11月16日更新
为 Claude Code、Codex、Cursor 等编程工具提供统一 AI 网关,可连接多个模型服务商,并支持自动故障切换和请求转发。适合需要跨模型使用编程助手的开发者。
wici-ai/ inferssdinferssd
C++SSD 流式 MoE 推理引擎 · wici-ai
SSD 流式 MoE 推理引擎
★ 1.2K+842 本周模型推理与部署11月19日更新
基于 llama.cpp 构建,通过从 SSD 流式加载 MoE 专家权重,让显存和内存不足的机器也能运行超大模型,适合本地部署爱好者。
ashhart/ TensorFoldTensorFold
Zig跨平台大模型推理引擎 · ashhart
跨平台大模型推理引擎
★ 2.3K+530 本周模型推理与部署11月19日更新
用 Zig 编写的 LLM 推理引擎,支持 Metal、CUDA 和 Vulkan 后端,适合想在本地或自建硬件上高效跑大模型的开发者。
jundot/ omlxomlx
Python苹果芯片推理服务 · jundot
苹果芯片推理服务
★ 24K+202 本周模型推理与部署11月18日更新
面向 Apple Silicon 的本地大模型推理服务器,支持连续批处理与 SSD 缓存,可从 macOS 菜单栏管理并提供 OpenAI 兼容接口。
AlexsJones/ llmfitllmfit
Rust本地大模型选型工具 · AlexsJones
本地大模型选型工具
★ 39K+162 本周附带 1 个 Skill模型推理与部署11月18日更新
检测本机内存、CPU 和显存条件,结合量化、速度与适配度给出本地大模型选择建议,适合做模型筛选和部署前评估。
openvinotoolkit/ openvinoopenvino
C++AI 推理优化工具包 · openvinotoolkit
AI 推理优化工具包
★ 11K+200 本周模型推理与部署11月19日更新
用于优化和部署人工智能推理的开源工具包,覆盖大模型、计算机视觉、语音识别等场景,适合需要在多种硬件上提升模型运行效率的开发者。
maximhq/ bifrostbifrost
Go大模型统一网关 · maximhq
大模型统一网关
★ 9.7K+243 本周模型推理与部署11月19日更新
面向 AI 应用与 Agent 的高性能网关,通过兼容 OpenAI 的统一 API 接入多种模型及 MCP 服务,并提供故障切换、负载均衡、缓存、密钥和预算管理等能力。
mlc-ai/ mlc-llmmlc-llm
Python通用大模型部署引擎 · mlc-ai
通用大模型部署引擎
★ 23K模型推理与部署11月18日更新
基于机器学习编译技术,把各类大语言模型高效部署到手机、浏览器、GPU 等多种硬件上运行,适合需要在本地或异构设备上跑模型的开发者。
DSH-APP/ DSHADSHA
Java安卓本地 DeepSeek 运行器 · DSH-APP
安卓本地 DeepSeek 运行器
★ 3.5K+250 本周模型推理与部署11月14日更新
无需 ROOT 和 Termux,在安卓手机上通过 proot 运行完整 Ubuntu 环境并启动 DeepSeek Harness,支持 ADB 直连与实时输出,适合想在移动端跑编程 Agent 的用户。
ithtelab/ workbuddy-managerworkbuddy-manager
PythonCodeBuddy 账号池网关 · ithtelab
CodeBuddy 账号池网关
★ 2.9K+248 本周模型推理与部署11月18日更新
腾讯 CodeBuddy 账号池管理控制台,支持扫码批量纳管账号、定时签到保活、密钥分组分发与模型白名单,并内置 OpenAI 兼容反代网关,适合团队统一管理共享账号与调用配额。
cactus-compute/ cactuscactus
Python端侧智能推理框架 · cactus-compute
端侧智能推理框架
★ 15K+141 本周模型推理与部署11月19日更新
面向消费级设备的端侧 AI 框架,体积不到 50MB,可在本地跑语音、视觉与工具调用模型,适合做离线智能硬件的开发者。
mw00/ project-mayaproject-maya
C++本地大模型推理平台 · mw00
本地大模型推理平台
★ 3.0K+231 本周模型推理与部署11月18日更新
在自有 GPU 上私有运行多种大型混合专家模型,提供推理引擎、服务端、仪表盘及兼容 OpenAI 和 Anthropic 的 API,适合需要本地部署与量化工具的用户。
google-ai-edge/ mediapipemediapipe
C++跨平台机器学习框架 · google-ai-edge
跨平台机器学习框架
★ 38K+92 本周模型推理与部署11月19日更新
提供可定制的跨平台机器学习方案,支持实时与流媒体场景中的视觉、音频等任务推理。适合构建移动端和多媒体应用,具备图计算框架与多平台支持能力。
simplexai-labs/ PolyStrataPolyStrata
C++本地大模型运行工具 · simplexai-labs
本地大模型运行工具
★ 1.2K+181 本周模型推理与部署11月18日更新
为 Windows 和 Linux 提供一键安装的本地大模型推理工具,可运行多种开源模型,并在本机提供兼容 OpenAI 与 Anthropic 的 API。适合希望在自有电脑上部署和调用模型的用户。
drumih/ turbo-fieldfareturbo-fieldfare
SwiftMac 本地大模型推理 · drumih
Mac 本地大模型推理
★ 7.4K+90 本周模型推理与部署11月15日更新
在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 模型,基于 Metal 与 Swift 实现,适合想在本地低资源跑大模型的用户。
alibaba/ MNNMNN
C++阿里端侧推理引擎 · alibaba
阿里端侧推理引擎
★ 17K+74 本周附带 11 个 Skill模型推理与部署11月18日更新
面向端侧推理引擎开发的一组流程技能,覆盖新增算子、CPU 与 GPU 后端优化、模型接入和问题排查,适合按步骤推进工程任务。
microsoft/ onnxruntimeonnxruntime
C++跨平台模型运行引擎 · microsoft
跨平台模型运行引擎
★ 22K+60 本周模型推理与部署11月17日更新
提供跨平台的机器学习模型推理与训练加速能力,支持 ONNX 模型及多种硬件环境,适合需要在不同设备和框架中部署模型的开发者。
leejet/ stable-diffusion.cppstable-diffusion.cpp
C++扩散模型推理引擎 · leejet
扩散模型推理引擎
★ 8.1K+83 本周模型推理与部署11月16日更新
使用纯 C/C++ 在本地运行 Stable Diffusion、Flux、Wan 等扩散模型,支持图像生成与图像转换,适合希望以原生程序部署图像生成模型的开发者。
trymirai/ uzuuzu
Rust高性能推理引擎 · trymirai
高性能推理引擎
★ 3.4K+110 本周模型推理与部署11月19日更新
用 Rust 编写的高性能 AI 模型推理引擎,支持 Metal 加速,面向需要在本地或服务端高效运行大模型与语音合成模型的开发者。
Mesh-LLM/ mesh-llmmesh-llm
Rust分布式大模型平台 · Mesh-LLM
分布式大模型平台
★ 4.2K+90 本周模型推理与部署11月19日更新
通过分布式共享算力运行 AI 与大模型,支持将计算资源用于驱动智能体和聊天应用,并提供私有或公开参与方式,适合关注去中心化模型计算的开发者。
su-kaka/ agy2apiagy2api
PythonAntigravity 接口转换 · su-kaka
Antigravity 接口转换
★ 5.4K+83 本周模型推理与部署11月18日更新
把 Antigravity 封装成兼容 OpenAI、Gemini 和 Claude 的 API 接口,方便在现有客户端和工具中直接调用,适合需要统一接口的开发者。
LMCache/ LMCacheLMCache
PythonLLM 键值缓存加速层 · LMCache
LLM 键值缓存加速层
★ 12K+47 本周模型推理与部署11月19日更新
为大模型推理提供高性能 KV Cache 层,可配合 vLLM 等引擎降低显存占用、提升吞吐,适合部署和优化 LLM 服务的工程师。
llm-d/ llm-dllm-d
PythonKubernetes 大模型推理平台 · llm-d
Kubernetes 大模型推理平台
★ 5.3K+72 本周模型推理与部署11月19日更新
在 Kubernetes 上利用现代加速器实现高性能分布式大模型推理,支持智能路由与模型服务,适合需要集群化部署 LLM 的运维和平台团队。
vllm-project/ vllm-ascendvllm-ascend
Python昇腾推理硬件插件 · vllm-project
昇腾推理硬件插件
★ 3.1K+35 本周模型推理与部署11月19日更新
为 vLLM 提供面向华为昇腾硬件的社区维护插件,支持在昇腾平台运行和服务大语言模型,适合使用该硬件部署模型推理服务的开发者。
aimod-cc/ Agent2APIAgent2API
Rust本地 AI 路由网关 · aimod-cc
本地 AI 路由网关
★ 2.5K模型推理与部署11月19日更新
本地部署的 AI 路由网关,可接管 Agent 客户端登录态,用一个 base_url 调用 50 多家模型额度,统一 OpenAI、Anthropic 与生图接口,并支持多账号选路、签到和余额报表。
NerverDevs/ nervecenternervecenter
TypeScript中转站账号管理面板 · NerverDevs
中转站账号管理面板
★ 520+144 本周模型推理与部署10月25日更新
面向 new-api、sub2api 等 API 中转站的账号管理面板,集中查看余额、API Key、用量与倍率,并支持多模型比价,适合自建中转服务的用户。
peonist-ai/ halogen-flash-serverhalogen-flash-server
Shell本地大模型推理服务 · peonist-ai
本地大模型推理服务
★ 1.4K+83 本周模型推理与部署11月18日更新
在 AMD Strix Halo 上本地运行 Qwen 等大模型,通过同一端口同时提供 OpenAI 与 Anthropic 兼容 API,适合想自建类前沿 API 体验的开发者。
Osmantic/ ODSODS
Python本地AI服务器 · Osmantic
本地AI服务器
★ 7.9K+40 本周模型推理与部署11月19日更新
将个人电脑部署为私有 AI 服务器,整合本地大模型、RAG、工作流自动化及图像生成等能力。适合希望在自有硬件上运行和管理 AI 服务的用户。
ddalcu/ mlx-servemlx-serve
Zig苹果芯片推理服务 · ddalcu
苹果芯片推理服务
★ 2.5K+66 本周模型推理与部署11月19日更新
为 Apple Silicon 提供原生大模型推理服务,兼容 OpenAI 与 Anthropic API,并包含 macOS 聊天应用及音乐、语音和视频生成能力,适合本地运行模型的用户。
hyperionaidev/ smolmaxxingsmolmaxxing
C端侧大模型运行工具 · hyperionaidev
端侧大模型运行工具
★ 1.0K模型推理与部署11月19日更新
用 C 语言实现的本地大模型推理方案,专注在尽可能小的设备上运行不同 LLM,支持量化算法,适合嵌入式与边缘 AI 开发者。
gpustack/ gpustackgpustack
Python大模型推理集群管理器 · gpustack
大模型推理集群管理器
★ 6.1K+48 本周模型推理与部署11月18日更新
管理用于大模型服务的 GPU 集群,可部署 vLLM、SGLang 等推理引擎,并提供按需创建、可通过 SSH 访问的 GPU 实例,适合建设 AI 推理服务的团队。
skypilot-org/ skypilotskypilot
Python多云 AI 算力调度平台 · skypilot-org
多云 AI 算力调度平台
★ 11K+33 本周模型推理与部署11月19日更新
把分散在多家云上的 GPU/TPU 资源统一调度成一台 AI 超级计算机,支持分布式训练与作业队列,适合需要跨云管理算力的 AI 团队。
gufo-org/ gufogufo
C++AMD Strix Halo 推理引擎 · gufo-org
AMD Strix Halo 推理引擎
★ 1.2K+70 本周模型推理与部署11月19日更新
面向 AMD Strix Halo 平台的开源 AI 推理引擎,单个二进制即可运行文本、向量、语音、图像和视频模型,提供 OpenAI 兼容接口,适合在本地 AMD 硬件上部署模型。
basketikun/ chatgpt2apichatgpt2api
GoChatGPT 逆向接口服务 · basketikun
ChatGPT 逆向接口服务
★ 7.0K模型推理与部署11月16日更新
用 Go 逆向还原 ChatGPT 官网接口,支持文本、生图改图与语音合成转写,兼容 OpenAI 协议并带号池管理,适合需要低成本批量调用模型的开发者。
RunanywhereAI/ trnrttrnrt
PythonTrainium 推理引擎 · RunanywhereAI
Trainium 推理引擎
★ 1.6K模型推理与部署11月18日更新
面向 AWS Trainium 芯片的开源大模型推理引擎,支持百万级上下文和 OpenAI 兼容接口,适合在 AWS 上自建推理服务的团队。
zyycn/ codex-proxy-rscodex-proxy-rs
RustCodex 多账号代理网关 · zyycn
Codex 多账号代理网关
★ 1.3K+65 本周模型推理与部署11月19日更新
用 Rust 编写的自托管透明代理网关,把多个 OpenAI Codex 账号聚合成统一入口,降低风控风险并提升并发性能,适合需要稳定调用 Codex 服务的开发者。
seakee/ CPA-Manager-PlusCPA-Manager-Plus
GoCPA 网关管理面板 · seakee
CPA 网关管理面板
★ 4.1K+32 本周模型推理与部署11月17日更新
自托管的 CPA/CLIProxyAPI 管理面板与 AI 网关可观测性仪表盘,集中查看请求、用量、成本、配额、失败和账号健康,适合运维多账号 AI 网关的团队。
StartLuxLabs/ StartLux-DecisionStartLux-Decision
Python开源决策模型 · StartLuxLabs
开源决策模型
★ 1.8K+43 本周模型推理与部署10月23日更新
提供从 0.8B 到 27B 参数的开源决策模型,一次推理即可为多个选项给出校准概率,并仅在模型不确定时输出简短思路,适合需要本地部署分类与决策能力的开发者。
找不到你要的项目或 Skill?
告诉我们仓库地址和用途,帮助补充你希望收录的项目。
请求收录
接着逛逛 RZH.AI
模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。