GitHub 市场
GitHub 上值得关注的 AI 项目和 Skills
每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。
Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.
GitHub 项目
按推荐顺序展示的GitHub 项目。 共 254 个。
ovg-project/ kvcachedkvcached
Python大模型缓存优化工具 · ovg-project
大模型缓存优化工具
★ 2.0K+13 本周模型推理与部署11月18日更新
通过虚拟化弹性 KV Cache 支持 GPU 动态共享,提升大模型推理时的缓存利用效率,面向使用 SGLang、vLLM 等推理框架的部署与基础设施开发者。
beclab/ OlaresOlares
Go个人云端智能体系统 · beclab
个人云端智能体系统
★ 5.4K+8 本周模型推理与部署11月19日更新
面向个人与家庭实验室的开源私有云操作系统,支持自托管应用和常驻智能体,可在本地或边缘环境运行 AI 服务,强调数据隐私与云原生部署。
huggingface/ text-embeddings-inferencetext-embeddings-inference
Rust文本嵌入推理服务 · huggingface
文本嵌入推理服务
★ 5.1K+8 本周模型推理与部署11月17日更新
Hugging Face 出品的文本嵌入模型高速推理方案,用 Rust 实现,适合需要低延迟批量生成向量、搭建检索或 RAG 服务的开发者。
openlake-project/ openlakeopenlake
Rust大模型高性能存储引擎 · openlake-project
大模型高性能存储引擎
★ 3.1K模型推理与部署11月11日更新
面向大模型推理与 GPU 训练的高性能存储引擎,基于 Rust 与 RDMA 提升吞吐,适合需要优化模型加载和数据读取的基础设施团队。
eliasbiondo/ antirionantirion
Rust大模型网关 · eliasbiondo
大模型网关
★ 468+11 本周模型推理与部署11月14日更新
用单一服务统一路由 OpenAI、Anthropic、Gemini、Bedrock 等模型调用,并提供安全控制、预算管理和可观测性。适合需要集中管理多家模型 API 的开发团队。
lemonade-sdk/ lemonadelemonade
C++本地 AI 推理服务 · lemonade-sdk
本地 AI 推理服务
★ 6.2K模型推理与部署11月19日更新
在本地 GPU 和 NPU 上运行优化后的大模型,为本地 AI 应用提供 OpenAI 兼容接口,支持 AMD 硬件与 MCP。
pytorch/ executorchexecutorch
PythonPyTorch 端侧推理框架 · pytorch
PyTorch 端侧推理框架
★ 5.2K+9 本周模型推理与部署11月19日更新
PyTorch 官方的端侧 AI 运行时,把模型部署到手机、嵌入式和边缘设备,支持多种硬件后端,适合做移动端与嵌入式推理的开发者。
Paritok-official/ paritok-4b-v1paritok-4b-v1
PythonAI 编码压缩网关 · Paritok-official
AI 编码压缩网关
★ 1.4K+2 本周模型推理与部署11月18日更新
面向 AI 编程 Agent 的无损压缩网关,可削减 token 开销并让同一上下文窗口容纳更多轮次,兼容 Claude Code、Cursor、Codex 等任意 BASE_URL 客户端。
nobodywho-ooo/ nobodywhonobodywho
Rust本地大模型推理引擎 · nobodywho-ooo
本地大模型推理引擎
★ 1.7K+17 本周模型推理与部署11月18日更新
用 Rust 编写的推理引擎,可在任意设备上高效本地运行大模型,提供 Godot 与 Python 等绑定,适合游戏和端侧 AI 开发者。
sums001/ Windows-Copilot-APIWindows-Copilot-API
PythonCopilot 兼容接口 · sums001
Copilot 兼容接口
★ 1.3K+2 本周模型推理与部署10月30日更新
将 Windows Copilot 逆向封装为 OpenAI 兼容的 REST 接口,无需 API Key 即可调用 GPT 模型,适合做实验和接口联调。
jmaczan/ tiny-vllmtiny-vllm
C++迷你 vLLM 推理引擎 · jmaczan
迷你 vLLM 推理引擎
★ 1.2K+10 本周模型推理与部署11月16日更新
用 C++ 和 CUDA 从零实现的高性能大模型推理引擎教学项目,是 vLLM 的精简版,适合想深入理解 PagedAttention、批处理等推理底层机制的学习者。
Generated-Computers/ LocalsLocals
PythonMac 多 Agent 运行器 · Generated-Computers
Mac 多 Agent 运行器
★ 651+4 本周模型推理与部署11月18日更新
在 Mac 上同时运行多个 AI Agent,借助 Apple Silicon 与 MLX 加速,最高提速 3 倍,适合本地跑编程 Agent 的开发者。
aidanpark/ openclaw-androidopenclaw-android
Kotlin安卓运行 OpenClaw 工具 · aidanpark
安卓运行 OpenClaw 工具
★ 1.8K+6 本周模型推理与部署10月14日更新
一条命令即可在安卓手机上运行 OpenClaw,无需 proot 或 Linux 环境,适合把闲置手机改造成低功耗自托管 AI Agent 节点的用户。
Tencent/ AngelSlimAngelSlim
Python大模型压缩工具 · Tencent
大模型压缩工具
★ 1.8K+12 本周模型推理与部署11月18日更新
腾讯推出的模型压缩工具包,涵盖量化、推测解码等技术,支持大语言模型及多模态模型优化,适合希望降低模型部署成本、提升推理效率的开发者。
xLLM-AI/ xllmxllm
C++大模型推理引擎 · xLLM-AI
大模型推理引擎
★ 1.6K+5 本周模型推理与部署11月18日更新
面向大语言模型、视觉语言模型、扩散模型和推荐模型提供高性能推理能力,并针对多种 AI 加速器优化,适合需要部署多类模型的工程团队。
ENTERPILOT/ GoModelGoModel
Go大模型统一网关 · ENTERPILOT
大模型统一网关
★ 1.3K+7 本周模型推理与部署11月19日更新
用 Go 构建的 AI 网关与代理,统一接入 OpenAI、Anthropic、Gemini、Ollama 等服务,并提供路由、故障切换、用量追踪和可观测能力,适合部署与管理多模型 API 的团队。
bestruirui/ octopusoctopus
TypeScript大模型聚合网关 · bestruirui
大模型聚合网关
★ 2.8K+3 本周模型推理与部署10月23日更新
面向个人用户的自托管 LLM API 聚合网关,统一接入多家模型与编码助手服务,适合希望集中管理模型接口、凭据和调用入口的开发者。
jammaru/ sakuttosakutto
TypeScript本地大模型翻译插件 · jammaru
本地大模型翻译插件
★ 272模型推理与部署11月19日更新
浏览器扩展,用本地运行的 PLaMo 模型在设备上完成网页翻译,无需服务器、免费且保护隐私,适合注重数据安全的多语言阅读用户。
av/ harborharbor
Python本地 LLM 栈一键部署 · av
本地 LLM 栈一键部署
★ 3.3K+10 本周模型推理与部署11月11日更新
用一条命令拉起预配置好的完整 LLM 服务栈,内置数百个可探索的 AI 服务,适合想自托管本地大模型环境、又不想手动折腾 Docker 配置的开发者。
ModelTC/ LightLLMLightLLM
Python大模型推理服务框架 · ModelTC
大模型推理服务框架
★ 4.4K+9 本周模型推理与部署11月19日更新
基于 Python 构建的大语言模型推理与服务框架,面向需要部署模型 API 的开发者,特点是轻量、易扩展并注重推理速度。
mithun50/ openclaw-termuxopenclaw-termux
Dart安卓 AI 网关运行器 · mithun50
安卓 AI 网关运行器
★ 1.8K+3 本周模型推理与部署11月13日更新
在 Android 手机上运行 OpenClaw AI 网关的独立 Flutter 应用,内置终端、网页仪表盘和一键安装,也提供 Termux 命令行包,适合想在移动端自托管 AI 网关的用户。
theopenco/ llmgatewayllmgateway
TypeScript大模型统一网关 · theopenco
大模型统一网关
★ 1.7K+11 本周模型推理与部署11月19日更新
通过统一 API 路由和管理不同服务商的大模型请求,并提供请求分析与密钥管理能力,适合需要集中治理多模型调用的应用团队。
katanemo/ planoplano
Rust大模型代理网关 · katanemo
大模型代理网关
★ 7.1K+4 本周附带 9 个 Skill模型推理与部署10月25日更新
覆盖任务拆解、配置与路由、部署安全、可观测性排查及设计协作等场景,帮助 Agent 按任务范围整理步骤并开展相关工作。
kennss/ SiliconScopeSiliconScope
Swift苹果芯片系统监控 · kennss
苹果芯片系统监控
★ 1.0K+2 本周模型推理与部署11月12日更新
面向 Apple Silicon Mac 的原生系统监控工具,无需 root 即可查看 ANE、媒体引擎与内存带宽占用,适合本地跑大模型的用户观察硬件负载。
cactus-compute/ engineengine
C++移动端大模型推理引擎 · cactus-compute
移动端大模型推理引擎
★ 6.2K模型推理与部署11月6日更新
面向手机等消费级设备的 2bit 量化、算子内核与推理运行时,让开发者在 Android 和 iOS 上本地跑大模型,主打低资源占用。
waybarrios/ vllm-mlxvllm-mlx
Python苹果芯片大模型推理服务 · waybarrios
苹果芯片大模型推理服务
★ 1.7K+4 本周模型推理与部署11月8日更新
面向 Apple Silicon 提供兼容 OpenAI 与 Anthropic 接口的大模型推理服务,基于 MLX 支持连续批处理、多模态模型及 MCP 工具调用,适合本地部署与编码 Agent 接入。
lithos-ai/ lithos-metallithos-metal
Python苹果芯片推理引擎 · lithos-ai
苹果芯片推理引擎
★ 351+7 本周模型推理与部署10月22日更新
面向 Apple Silicon 提供高性能大语言模型推理内核与服务能力,适合希望在苹果设备上本地运行或部署模型的开发者,重点优化芯片推理性能。
T-Crypt/ berthberth
GoGPU资源调度器 · T-Crypt
GPU资源调度器
★ 300+8 本周模型推理与部署11月17日更新
用 Go 编写的轻量级 GPU 资源管理工具,可控制不同应用何时使用 GPU,并在应用间交接访问权限,适合自托管推理服务和本地 AI 工作负载。
algorithmicsuperintelligence/ optillmoptillm
Python大模型推理优化代理 · algorithmicsuperintelligence
大模型推理优化代理
★ 4.3K+6 本周模型推理与部署11月16日更新
面向大语言模型 API 的推理优化代理,可作为请求网关接入模型服务,并围绕推理过程提供优化能力,适合构建高效的模型调用工作流。
beizhu-1209/ AIHelmsAIHelms
Python企业 AI 网关治理平台 · beizhu-1209
企业 AI 网关治理平台
★ 1.0K+1 本周模型推理与部署11月16日更新
面向企业的 AI 资源纳管平台,统一接入 OpenAI、Azure、Claude、DeepSeek 等模型,提供 Token 调度、MCP 与 Skill 注册分发、成本归因和安全审计,适合需要治理 AI 资产与量化 ROI 的团队。
Neywa-Labs/ mlx-vlmmlx-vlm
PythonMac 视觉语言模型工具 · Neywa-Labs
Mac 视觉语言模型工具
★ 5.9K模型推理与部署11月19日更新
基于苹果 MLX 框架,在 Mac 上本地推理和微调视觉语言模型,支持 LLaVA、PaliGemma、Florence2 等多种模型,适合想在 Apple 芯片上跑多模态模型的用户。
psalias2006/ gpu-hotgpu-hot
JavaScriptGPU 实时监控面板 · psalias2006
GPU 实时监控面板
★ 1.6K+5 本周模型推理与部署8月25日更新
基于 Flask 的 NVIDIA GPU 实时监控仪表盘,展示利用率、显存、温度等指标并绘制图表,适合跑训练或推理的开发者快速查看显卡状态。
kittors/ CliRelayCliRelay
Go自托管 AI 编程网关 · kittors
自托管 AI 编程网关
★ 1.1K+5 本周模型推理与部署11月18日更新
面向编程 CLI 的自托管 AI 网关,统一提供兼容 OpenAI、Claude、Gemini、Codex 的接口,并带多租户控制台、请求日志与额度管理,适合团队集中管理模型调用。
Yamz-Labs/ kyojinkyojin
Python本地大模型推理引擎 · Yamz-Labs
本地大模型推理引擎
★ 242+7 本周模型推理与部署11月18日更新
基于 ExLlamaV3 的开源推理引擎,可在单台迷你电脑或显卡上运行大型开源模型,支持 AMD ROCm 与 NVIDIA CUDA,适合希望本地部署量化模型的用户。
MiniMax-AI/ MiniMax-M2MiniMax-M2
大语言模型 · MiniMax-AI
大语言模型
★ 2.6K模型推理与部署10月26日更新
面向编程与智能体工作流训练的大语言模型,适合需要代码生成、复杂任务处理或构建 Agent 应用的开发者;项目说明强调其针对相关工作流进行设计。
lmstudio-ai/ lmslms
TypeScriptLM Studio 命令行工具 · lmstudio-ai
LM Studio 命令行工具
★ 5.4K模型推理与部署11月18日更新
LM Studio 的官方 CLI,可在终端下载、运行和管理本地大模型,适合习惯命令行、想在本地部署推理的开发者。
PrunaAI/ prunapruna
Python模型优化压缩框架 · PrunaAI
模型优化压缩框架
★ 1.4K+9 本周模型推理与部署11月10日更新
面向开发者的模型优化框架,通过压缩、量化等手段让 LLM、扩散模型和语音模型推理更快更省资源,适合部署前做性能优化。
NVIDIA/ kvpresskvpress
PythonKV 缓存压缩工具 · NVIDIA
KV 缓存压缩工具
★ 1.3K+8 本周模型推理与部署11月16日更新
NVIDIA 出品的 LLM KV 缓存压缩库,基于 PyTorch 与 Transformers,降低长上下文推理显存占用,适合部署大模型时优化推理成本。
thu-pacman/ chituchitu
Python赤兔大模型推理框架 · thu-pacman
赤兔大模型推理框架
★ 3.0K+2 本周模型推理与部署11月18日更新
清华 PACMAN 团队开源的高性能大模型推理与服务框架,强调效率、灵活性和可用性,适合需要自建 LLM 推理服务的工程团队。
affifuddin-hazam/ ghost-inferghost-infer
HTMLaffifuddin-hazam
Fast local LLM inference for the GPU you already have: one Rust binary, GGUF models, an OpenAI-compatible server and a chat page with a ghost.
★ 242模型推理与部署11月17日更新
Fast local LLM inference for the GPU you already have: one Rust binary, GGUF models, an OpenAI-compatible server and a chat page with a ghost.
containers/ ramalamaramalama
Python容器化本地模型服务工具 · containers
容器化本地模型服务工具
★ 3.1K+5 本周模型推理与部署11月14日更新
用容器方式简化任意来源 AI 模型的本地部署与推理服务,支持 llama.cpp、vLLM 等后端,适合想把模型跑在自己机器或生产环境的开发者。
ngxson/ wllamawllama
TypeScript浏览器端大模型推理 · ngxson
浏览器端大模型推理
★ 1.4K+11 本周模型推理与部署11月19日更新
llama.cpp 的 WebAssembly 绑定,让大模型直接在浏览器里本地推理,无需后端服务,适合做隐私友好的网页端 AI 应用。
CurvineIO/ curvinecurvine
Rust云原生 AI 文件系统 · CurvineIO
云原生 AI 文件系统
★ 1.1K模型推理与部署11月19日更新
用 Rust 编写的 AI 原生云原生文件系统,在对象存储上提供完整 POSIX 语义与多级分布式缓存,面向 AI 训练、推理和 Agent 场景,CNCF 沙箱项目。
heterodoxin/ AbliteratedOutTheBoxAbliteratedOutTheBox
C++heterodoxin
llama.cpp fork that abliterates at inference
★ 219模型推理与部署11月19日更新
llama.cpp fork that abliterates at inference
tenstorrent/ tt-metaltt-metal
PythonAI 加速器计算库 · tenstorrent
AI 加速器计算库
★ 133+10 本周模型推理与部署11月19日更新
面向 Tenstorrent 加速器提供 TT-NN 算子库与底层 TT-Metalium 内核编程模型,支持构建和优化 AI 工作负载。适合开发加速器算子、模型推理及相关计算内核的工程师。
b4rtaz/ distributed-llamadistributed-llama
C++分布式大模型推理引擎 · b4rtaz
分布式大模型推理引擎
★ 3.1K+4 本周模型推理与部署11月17日更新
用 C++ 编写的分布式 LLM 推理工具,把家中多台设备组成集群共同加速推理,设备越多速度越快,适合本地部署大模型的爱好者。
RayBytes/ ChatMockChatMock
PythonCodex 兼容 API 服务 · RayBytes
Codex 兼容 API 服务
★ 1.6K+1 本周模型推理与部署11月4日更新
基于 Codex 提供兼容 OpenAI 与 Ollama 的 API 接口,方便把现有客户端或工具接到 Codex 模型上,适合需要本地或自建聊天接口的开发者。
alibaba/ rtp-llmrtp-llm
Python大模型推理引擎 · alibaba
大模型推理引擎
★ 1.4K+9 本周模型推理与部署11月19日更新
阿里巴巴开源的高性能大语言模型推理与服务引擎,面向需要部署模型并支撑多类应用的开发者,重点提供推理运行能力。
找不到你要的项目或 Skill?
告诉我们仓库地址和用途,帮助补充你希望收录的项目。
请求收录
接着逛逛 RZH.AI
模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。