GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 254 个。

tjake GitHub avatar

tjake/JlamaJlama

Java

Java 大模型推理引擎 · tjake

Java 大模型推理引擎

★ 1.3K模型推理与部署2025年10月更新

用 Java 编写的现代 LLM 推理引擎,支持 Transformer 模型与 SIMD 加速,适合在 JVM 技术栈中本地运行和集成大模型的团队。

模型推理与部署
1.3K项目2023年7月31日
chengzeyi GitHub avatar

chengzeyi/stable-faststable-fast

Python

扩散模型推理优化框架 · chengzeyi

扩散模型推理优化框架

★ 1.3K模型推理与部署2025年3月更新

面向 HuggingFace Diffusers 的推理性能优化框架,针对 NVIDIA GPU 加速图像与视频扩散模型运行,适合使用 PyTorch 进行生成模型部署和性能调优的开发者。

模型推理与部署
1.3K项目2023年10月17日
ItsPi3141 GitHub avatar

ItsPi3141/alpaca-electronalpaca-electron

JavaScript

本地大模型桌面客户端 · ItsPi3141

本地大模型桌面客户端

★ 1.3K模型推理与部署2024年4月更新

基于 Electron 的桌面应用,让用户在个人电脑上最简单地上手运行 Alpaca 等 LLaMA 系本地大模型并对话。

模型推理与部署
1.3K项目2023年3月25日
jtsang4 GitHub avatar

jtsang4/claude-to-chatgptclaude-to-chatgpt

Python

Claude 转 OpenAI 接口 · jtsang4

Claude 转 OpenAI 接口

★ 1.3K+1 本周模型推理与部署2024年8月更新

把 Anthropic Claude 的 API 转换成 OpenAI Chat API 格式,让只支持 OpenAI 接口的客户端和工具也能调用 Claude,适合做多模型兼容的开发者。

模型推理与部署
1.3K+12023年5月10日
thu-ml GitHub avatar

thu-ml/SpargeAttnSpargeAttn

Cuda

免训练稀疏注意力加速 · thu-ml

免训练稀疏注意力加速

★ 1.3K+2 本周模型推理与部署2月25日更新

ICML2025 提出的免训练稀疏注意力方法,可加速 LLM、视觉 Transformer 和视频生成等任意模型推理,适合关注推理性能优化的研究者与工程团队。

模型推理与部署
1.3K+22025年2月25日
xllm-go GitHub avatar

xllm-go/bypassbypass

Go

多平台 AI 接口聚合 · xllm-go

多平台 AI 接口聚合

★ 1.2K+2 本周模型推理与部署6月25日更新

把 OpenAI、Coze、DeepSeek、Cursor、Windsurf、Grok、Bing 绘画等多款 AI 的逆向聊天接口统一适配成 OpenAI API 标准服务,适合想用一套接口调用多家模型的开发者。

模型推理与部署
1.2K+22023年6月30日
bricks-cloud GitHub avatar

bricks-cloud/BricksLLMBricksLLM

Go

LLM 成本限流网关 · bricks-cloud

LLM 成本限流网关

★ 1.2K模型推理与部署2025年1月更新

面向企业的 LLM API 网关,可按密钥、用户或环境设置成本与速率上限并做细粒度访问控制,兼容 OpenAI、Anthropic、vLLM 等多家模型服务。

模型推理与部署
1.2K项目2023年7月19日
jncraton GitHub avatar

jncraton/languagemodelslanguagemodels

HTML

512MB 内存跑大模型 · jncraton

512MB 内存跑大模型

★ 1.2K模型推理与部署2月20日更新

教学向 Python 库,演示如何在 512MB 内存里加载并运行小型语言模型,适合想理解 LLM 原理与轻量推理的学生和爱好者动手实验。

模型推理与部署
1.2K项目2023年5月7日
IST-DASLab GitHub avatar

IST-DASLab/marlinmarlin

Python

4bit 量化推理内核 · IST-DASLab

4bit 量化推理内核

★ 1.2K+5 本周模型推理与部署2024年9月更新

面向大模型的 FP16xINT4 量化推理内核,在 16–32 token 的中等批量下可接近理想的约 4 倍加速,适合做本地或服务端 LLM 推理优化的开发者。

模型推理与部署
1.2K+52024年1月17日
Troyanovsky GitHub avatar

Troyanovsky/Local-LLM-Comparison-Colab-UILocal-LLM-Comparison-Colab-UI

Jupyter Notebook

本地大模型性能对比 · Troyanovsky

本地大模型性能对比

★ 1.1K模型推理与部署1月13日更新

在 Colab 网页界面中对比多款可在消费级硬件本地部署的大模型性能,适合想挑选本地模型的用户快速实测。

模型推理与部署
1.1K项目2023年5月7日
VoAPI GitHub avatar

VoAPI/VoAPIVoAPI

Go

大模型接口聚合网关 · VoAPI

大模型接口聚合网关

★ 1.1K+1 本周模型推理与部署1月27日更新

提供高性能、可扩展的大模型 API 聚合与分发服务,面向需要统一接入和管理多种模型接口的团队,适合作为 AI 应用的服务端网关。

模型推理与部署
1.1K+12024年9月25日
ai-dock GitHub avatar

ai-dock/comfyuicomfyui

Shell

ComfyUI云端部署镜像 · ai-dock

ComfyUI云端部署镜像

★ 1.1K模型推理与部署2024年11月更新

提供可在 GPU 云平台或本地运行的 ComfyUI Docker 镜像,并集成基础镜像、身份验证与使用体验优化,适合需要快速部署 Stable Diffusion 工作流的用户。

模型推理与部署
1.1K项目2023年8月23日
EdVince GitHub avatar

EdVince/Stable-Diffusion-NCNNStable-Diffusion-NCNN

C++

扩散模型图像生成工具 · EdVince

扩散模型图像生成工具

★ 1.1K模型推理与部署2023年7月更新

使用 C++ 与 NCNN 实现 Stable Diffusion 推理,支持文生图和图生图,可面向 Android 等环境部署,适合希望在轻量推理框架中运行扩散模型的开发者。

模型推理与部署
1.1K项目2022年11月11日
snipeship GitHub avatar

snipeship/ccflareccflare

TypeScript

Claude 代码代理网关 · snipeship

Claude 代码代理网关

★ 1.1K+1 本周模型推理与部署4月20日更新

面向 Claude Code 与 Codex CLI 的代理转发工具,可统一管理 Anthropic API 请求,适合需要多账号或中转访问的开发者。

模型推理与部署
1.1K+12025年7月25日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。