GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 322 个。

bytedance GitHub avatar

bytedance/Sa2VASa2VA

Python

视觉语言分割模型 · bytedance

视觉语言分割模型

★ 1.7K多模态生成10月30日更新

面向计算机视觉与多模态研究,提供 Sa2VA 及相关项目的官方代码,结合视觉分割与大语言模型能力,适合探索图像理解和视频分割的研究者。

多模态生成
1.7K项目2025年1月6日
bytedance GitHub avatar

bytedance/SALMONNSALMONN

多模态语音大模型 · bytedance

多模态语音大模型

★ 1.6K+5 本周多模态生成10月16日更新

SALMONN 系列多模态大语言模型项目,面向语音、音频与音乐等输入开展理解和处理,适合多模态模型研究及相关应用开发。

多模态生成
1.6K+52023年8月11日
lucidrains GitHub avatar

lucidrains/denoising-diffusion-pytorchdenoising-diffusion-pytorch

Python

PyTorch 扩散模型实现 · lucidrains

PyTorch 扩散模型实现

★ 11K多模态生成9月29日更新

用 PyTorch 实现的去噪扩散概率模型,代码简洁易读,适合想学习或复现扩散生成模型的研究者和开发者。

多模态生成
11K项目2020年8月26日
Stability-AI GitHub avatar

Stability-AI/StableSwarmUIStableSwarmUI

C#

模块化图像生成界面 · Stability-AI

模块化图像生成界面

★ 4.9K多模态生成10月15日更新

面向 Stable Diffusion 的模块化 Web 用户界面,注重高性能、扩展性,并让强大工具更易使用,适合需要灵活配置图像生成流程的创作者。

多模态生成
4.9K项目2023年5月12日
potamides GitHub avatar

potamides/DeTikZifyDeTikZify

Python

科学图形代码生成 · potamides

科学图形代码生成

★ 1.8K+2 本周多模态生成9月17日更新

利用多模态模型将科学图形与草图合成为 TikZ 绘图程序,适合需要把图像表达转换为可编辑矢量代码的研究者与开发者。

多模态生成
1.8K+22023年11月27日
YanWenKun GitHub avatar

YanWenKun/ComfyUI-DockerComfyUI-Docker

Dockerfile

ComfyUI容器部署工具 · YanWenKun

ComfyUI容器部署工具

★ 1.7K+4 本周多模态生成11月11日更新

为 ComfyUI 提供 Docker 镜像构建配置与启动脚本,便于将图像生成工作流部署在容器环境中,适合需要可复现运行或自托管 ComfyUI 的用户。

多模态生成
1.7K+42023年3月17日
Acly GitHub avatar

Acly/comfyui-inpaint-nodescomfyui-inpaint-nodes

Python

图像修补节点工具 · Acly

图像修补节点工具

★ 1.3K+1 本周多模态生成10月4日更新

为 ComfyUI 提供扩图与图像修补节点,整合 Fooocus、LaMa、MAT 等模型和预处理工具,适合 Stable Diffusion 工作流用户改善局部重绘效果。

多模态生成
1.3K+12024年1月24日
CheshireCC GitHub avatar

CheshireCC/faster-whisper-GUIfaster-whisper-GUI

Python

Whisper 语音转写桌面版 · CheshireCC

Whisper 语音转写桌面版

★ 3.0K多模态生成8月26日更新

基于 PySide6 的 faster-whisper 图形界面,支持语音转写、VAD 与 WhisperX,适合不想敲命令行的用户在本机批量处理音频和视频字幕。

多模态生成
3.0K项目2023年7月18日
xlite-dev GitHub avatar

xlite-dev/lite.ai.toolkitlite.ai.toolkit

C++

轻量视觉模型工具包 · xlite-dev

轻量视觉模型工具包

★ 4.5K+2 本周多模态生成11月18日更新

面向 C++ 开发者的轻量 AI 工具包,集成 100 多种视觉与生成模型,可通过 MNN、ONNX Runtime 和 TensorRT 等后端运行,适合构建检测、分割及图像生成应用。

多模态生成
4.5K+22021年3月22日
p0n1 GitHub avatar

p0n1/epub_to_audiobookepub_to_audiobook

Python

EPUB 有声书转换器 · p0n1

EPUB 有声书转换器

★ 2.1K多模态生成10月28日更新

把 EPUB 电子书转成有声书的工具,针对 Audiobookshelf 优化并自带 Web 界面,适合想批量制作个人有声书库的用户。

多模态生成
2.1K项目2023年3月21日
facebookresearch GitHub avatar

facebookresearch/mmfmmf

Python

多模态视觉语言框架 · facebookresearch

多模态视觉语言框架

★ 5.6K+2 本周多模态生成10月7日更新

Facebook AI Research 开源的模块化框架,用于视觉与语言多模态研究,支持 VQA、图像描述、对话等任务,适合研究人员快速搭建和复现多模态模型。

多模态生成
5.6K+22018年6月27日
unum-cloud GitHub avatar

unum-cloud/UFormUForm

Cuda

UForm 多模态嵌入库 · unum-cloud

UForm 多模态嵌入库

★ 1.3K+2 本周多模态生成11月18日更新

提供文本、图像、视频、音频和代码共享向量空间的多模态嵌入模型,支持分布式训练与推理,适合做语义搜索和跨模态检索的团队使用。

多模态生成
1.3K+22023年2月21日
receyuki GitHub avatar

receyuki/stable-diffusion-prompt-readerstable-diffusion-prompt-reader

Python

绘图提示词查看器 · receyuki

绘图提示词查看器

★ 1.3K多模态生成11月18日更新

独立桌面工具,可读取 Stable Diffusion 生成图片中嵌入的提示词等信息,无需打开 WebUI,适合整理和检查生成图像元数据的创作者。

多模态生成
1.3K项目2023年3月24日
flashlight GitHub avatar

flashlight/wav2letterwav2letter

C++

端到端语音识别工具包 · flashlight

端到端语音识别工具包

★ 6.4K多模态生成8月28日更新

Facebook AI Research 推出的自动语音识别工具包,基于端到端深度学习方法处理语音识别任务,适合研究人员和开发者开展语音模型实验与应用开发。

多模态生成
6.4K项目2017年11月21日
kritiksoman GitHub avatar

kritiksoman/GIMP-MLGIMP-ML

Python

GIMP 图像 AI 插件 · kritiksoman

GIMP 图像 AI 插件

★ 1.6K+1 本周多模态生成11月8日更新

为开源图像编辑软件 GIMP 加入 AI 能力,提供图像分割、超分辨率、生成等计算机视觉功能,适合想在 GIMP 里直接用机器学习工具修图的用户。

多模态生成
1.6K+12020年3月30日
Comfy-Org GitHub avatar

Comfy-Org/ComfyUIComfyUI

Python

节点式扩散模型工作台 · Comfy-Org

节点式扩散模型工作台

★ 148K+1.2k 本周多模态生成11月19日更新

以节点图界面组织扩散模型生成流程,并提供接口与后端,适合希望通过模块化工作流进行人工智能图像创作与实验的用户。([github.com](https://github.com/Comfy-Org/ComfyUI))

多模态生成
148K+1.2k2023年1月17日
openai GitHub avatar

openai/whisperwhisper

Python

Whisper 语音识别模型 · openai

Whisper 语音识别模型

★ 113K多模态生成9月1日更新

OpenAI 开源的大规模弱监督语音识别模型,支持多语言转写与翻译,适合做字幕、会议纪要和语音转文字应用的开发者。

多模态生成
113K项目2022年9月17日
ultralytics GitHub avatar

ultralytics/ultralyticsultralytics

Python

视觉识别模型工具库 · ultralytics

视觉识别模型工具库

★ 64K+261 本周多模态生成11月19日更新

提供目标检测、图像分割、分类、姿态估计与目标跟踪能力,面向视觉开发者和研究人员,支持模型训练、验证、推理及导出部署。([github.com](https://github.com/ultralytics/ultralytics))

多模态生成
64K+2612022年9月12日
ggml-org GitHub avatar

ggml-org/whisper.cppwhisper.cpp

C++

Whisper语音识别工具 · ggml-org

Whisper语音识别工具

★ 55K+194 本周多模态生成11月18日更新

以 C/C++ 移植 Whisper 语音识别模型,可在本地执行语音转文字推理。适合需要将语音转换为文本、希望使用原生代码部署或集成语音识别能力的开发者。

多模态生成
55K+1942022年9月26日
scenario-labs GitHub avatar

scenario-labs/blender-pluginblender-plugin

Python

Blender AI 生成插件 · scenario-labs

Blender AI 生成插件

★ 1.0K多模态生成11月14日更新

在 Blender 视口内直接调用 AI 生成图像、视频、3D 模型和 PBR 材质,并内置本地 MCP 服务器供 Agent 调用,适合 3D 创作者与美术工作流。

多模态生成
1.0K项目2026年8月30日
AUTOMATIC1111 GitHub avatar

AUTOMATIC1111/stable-diffusion-webuistable-diffusion-webui

Python

扩散模型绘图界面 · AUTOMATIC1111

扩散模型绘图界面

★ 165K+50 本周多模态生成3月2日更新

为 Stable Diffusion 提供网页操作界面,支持文生图与图生图,适合希望通过可视化方式使用扩散模型的创作者和开发者。

多模态生成
165K+502022年8月22日
CorentinJ GitHub avatar

CorentinJ/Real-Time-Voice-CloningReal-Time-Voice-Cloning

Python

实时声音克隆工具 · CorentinJ

实时声音克隆工具

★ 60K+10 本周多模态生成3月9日更新

利用约五秒的语音样本克隆说话人的声音,并以克隆音色实时合成任意文本语音,适合研究语音合成、声音克隆及相关深度学习技术的开发者。

多模态生成
60K+102019年5月26日
coqui-ai GitHub avatar

coqui-ai/TTSTTS

Python

语音合成工具包 · coqui-ai

语音合成工具包

★ 46K+36 本周多模态生成2024年8月更新

面向研究与生产场景的深度学习文本转语音工具包,提供多种语音合成模型及相关组件。适合希望训练、评估或部署语音合成系统的研究人员和开发者。

多模态生成
46K+362020年5月20日
2noise GitHub avatar

2noise/ChatTTSChatTTS

Python

对话语音生成模型 · 2noise

对话语音生成模型

★ 40K+22 本周多模态生成4月11日更新

面向日常对话场景的生成式语音模型,可将文本转化为自然语音,支持中文和英文,适合开发者构建语音助手及对话应用。

多模态生成
40K+222024年5月28日
suno-ai GitHub avatar

suno-ai/barkbark

Jupyter Notebook

文本生成音频模型 · suno-ai

文本生成音频模型

★ 39K多模态生成2024年8月更新

Bark 是 Suno 开源的文本提示音频生成模型,可根据文字生成语音、音乐和音效,适合研究多模态音频生成与语音合成的开发者。

多模态生成
39K项目2023年4月8日
naptha GitHub avatar

naptha/tesseract.jstesseract.js

JavaScript

多语言OCR引擎 · naptha

多语言OCR引擎

★ 39K+7 本周多模态生成5月17日更新

基于 JavaScript 与 WebAssembly 的光学字符识别库,可识别 100 多种语言的图像文字,适合需要在浏览器或 Node.js 应用中集成 OCR 能力的开发者。

多模态生成
39K+72015年6月24日
TencentARC GitHub avatar

TencentARC/GFPGANGFPGAN

Python

人脸图像修复模型 · TencentARC

人脸图像修复模型

★ 38K+14 本周多模态生成2024年7月更新

基于深度学习修复低质量人脸图像,面向计算机视觉研究者和图像处理开发者,提供针对真实场景设计的实用修复算法。

多模态生成
38K+142021年3月19日
babysor GitHub avatar

babysor/MockingBirdMockingBird

Python

实时语音克隆工具 · babysor

实时语音克隆工具

★ 37K多模态生成3月3日更新

基于深度学习克隆语音并实时生成指定文本的语音,适合研究语音合成或构建定制化 TTS 应用的开发者。

多模态生成
37K项目2021年8月7日
openai GitHub avatar

openai/CLIPCLIP

Jupyter Notebook

图文理解模型 · openai

图文理解模型

★ 35K+33 本周多模态生成3月26日更新

经典视觉语言模型,通过对比学习关联图像与文本,可根据图片匹配最相关的文字描述,适合研究多模态表示学习与图像检索。

多模态生成
35K+332020年12月16日
junyanz GitHub avatar

junyanz/pytorch-CycleGAN-and-pix2pixpytorch-CycleGAN-and-pix2pix

Python

图像转换模型工具 · junyanz

图像转换模型工具

★ 25K+5 本周多模态生成2025年8月更新

基于 PyTorch 实现 CycleGAN 与 pix2pix,用于训练和运行图像到图像转换模型,涵盖无配对与成对图像转换任务。适合计算机视觉研究者和希望复现实验或开展图像生成项目的开发者。

多模态生成
25K+52017年4月18日
haotian-liu GitHub avatar

haotian-liu/LLaVALLaVA

Python

视觉语言大模型 · haotian-liu

视觉语言大模型

★ 25K+3 本周多模态生成2024年8月更新

通过视觉指令微调构建能够理解图像并进行对话的多模态大模型,支持图像与语言任务研究和应用开发。适合多模态 AI 研究者及希望探索视觉问答能力的开发者。

多模态生成
25K+32023年4月18日
QwenAudio GitHub avatar

QwenAudio/CosyVoiceCosyVoice

Python

多语种语音生成模型 · QwenAudio

多语种语音生成模型

★ 24K+73 本周多模态生成5月26日更新

提供多语种语音生成能力,并覆盖模型推理、训练与部署流程,适合构建文本转语音及语音生成应用的开发者和研究者。

多模态生成
24K+732024年7月3日
QwenLM GitHub avatar

QwenLM/Qwen3-VLQwen3-VL

Jupyter Notebook

通义千问3 视觉语言模型 · QwenLM

通义千问3 视觉语言模型

★ 20K多模态生成1月30日更新

阿里云通义团队开源的多模态大模型系列,支持图像与视频理解、视觉推理和文档解析,适合研究者与开发者做多模态应用开发。

多模态生成
20K项目2024年8月29日
deepseek-ai GitHub avatar

deepseek-ai/JanusJanus

Python

统一多模态理解生成模型 · deepseek-ai

统一多模态理解生成模型

★ 18K+11 本周多模态生成2025年2月更新

DeepSeek 开源的 Janus 系列多模态模型,统一处理图像理解与生成任务,适合研究多模态基础模型和视觉语言预训练的开发者。

多模态生成
18K+112024年10月18日
Evolink-AI GitHub avatar

Evolink-AI/awesome-gpt-image-2-API-Promptsawesome-gpt-image-2-API-Prompts

Python

图像生成提示集 · Evolink-AI

图像生成提示集

★ 17K+27 本周多模态生成7月18日更新

汇集 GPT-Image-2 API 用法与图像生成提示词,涵盖文本生成图像和图像到图像等场景。适合探索图像生成效果或将相关 API 接入应用的开发者与创作者。

多模态生成
17K+272026年4月18日
lukas-blecher GitHub avatar

lukas-blecher/LaTeX-OCRLaTeX-OCR

Python

公式图片转 LaTeX 工具 · lukas-blecher

公式图片转 LaTeX 工具

★ 17K+12 本周多模态生成2025年1月更新

基于 ViT 的 OCR 工具,把数学公式截图直接转成 LaTeX 代码,适合论文写作、笔记整理和需要录入公式的科研与教学场景。

多模态生成
17K+122020年12月12日
camenduru GitHub avatar

camenduru/stable-diffusion-webui-colabstable-diffusion-webui-colab

Jupyter Notebook

扩散模型绘图界面 · camenduru

扩散模型绘图界面

★ 16K多模态生成2025年12月更新

通过 Colab 运行 Stable Diffusion WebUI,支持图像生成及 DreamBooth、LoRA 等模型训练工作流,适合希望借助云端笔记本体验或使用扩散模型的创作者。

多模态生成
16K项目2022年10月5日
AliaksandrSiarohin GitHub avatar

AliaksandrSiarohin/first-order-modelfirst-order-model

Jupyter Notebook

一阶运动图像动画模型 · AliaksandrSiarohin

一阶运动图像动画模型

★ 15K多模态生成2024年11月更新

论文 First Order Motion Model 的官方实现,用一张源图和一段驱动视频让人物图像动起来,适合做图像动画、人脸重演相关研究或创意视频的开发者。

多模态生成
15K项目2019年12月11日
davidsandberg GitHub avatar

davidsandberg/facenetfacenet

Python

人脸识别框架 · davidsandberg

人脸识别框架

★ 14K+5 本周多模态生成2023年7月更新

基于 TensorFlow 的人脸识别与检测实现,包含 MTCNN 对齐和预训练模型,适合研究人脸识别算法或做身份核验原型的开发者。

多模态生成
14K+52016年2月13日
divamgupta GitHub avatar

divamgupta/diffusionbee-stable-diffusion-uidiffusionbee-stable-diffusion-ui

JavaScript

本地图像生成工具 · divamgupta

本地图像生成工具

★ 14K+5 本周多模态生成2024年10月更新

面向 macOS 的 Stable Diffusion 图形应用,提供一键安装方式,让 M1 Mac 用户无需配置依赖或掌握技术细节即可本地生成图像。

多模态生成
14K+52022年9月6日
zai-org GitHub avatar

zai-org/CogVideoCogVideo

Python

开源视频生成模型 · zai-org

开源视频生成模型

★ 13K+17 本周多模态生成2025年11月更新

智谱开源文生视频与图生视频模型,包含 CogVideoX 与早期 CogVideo,适合研究者和开发者做视频生成实验与二次开发。

多模态生成
13K+172022年5月29日
junyanz GitHub avatar

junyanz/CycleGANCycleGAN

Lua

CycleGAN 图像转换 · junyanz

CycleGAN 图像转换

★ 13K+1 本周多模态生成2023年9月更新

基于循环一致性对抗网络的图像到图像转换项目,可实现画作转照片、马转斑马、风格迁移等效果,适合计算机视觉研究与图像生成实验。

多模态生成
13K+12017年3月30日
nerfstudio-project GitHub avatar

nerfstudio-project/nerfstudionerfstudio

Python

神经辐射场训练工作室 · nerfstudio-project

神经辐射场训练工作室

★ 12K+26 本周多模态生成2025年7月更新

基于 PyTorch 的 NeRF 与 3D 重建协作平台,集成数据管理、训练、可视化和导出流程,适合三维重建与计算机视觉方向的研究者和开发者。

多模态生成
12K+262022年6月1日
milesial GitHub avatar

milesial/Pytorch-UNetPytorch-UNet

Python

U-Net 图像分割实现 · milesial

U-Net 图像分割实现

★ 12K+8 本周多模态生成2024年8月更新

基于 PyTorch 的 U-Net 语义分割实现,附带训练脚本和高质量结果图,适合做医学影像或图像分割入门与复现的研究者。

多模态生成
12K+82017年8月16日
lucidrains GitHub avatar

lucidrains/DALLE2-pytorchDALLE2-pytorch

Python

DALL-E 2 复现实现 · lucidrains

DALL-E 2 复现实现

★ 11K多模态生成2024年5月更新

用 PyTorch 复现 OpenAI DALL-E 2 文本到图像生成网络的实现,包含训练与采样代码,适合想深入理解扩散模型与多模态生成的研究者和学习者。

多模态生成
11K项目2022年4月7日
lengstrom GitHub avatar

lengstrom/fast-style-transferfast-style-transfer

Python

快速风格迁移 · lengstrom

快速风格迁移

★ 11K+2 本周多模态生成2023年7月更新

基于 TensorFlow 的快速神经风格迁移实现,可将艺术风格实时迁移到图片和视频上,适合学习风格迁移算法与图像生成的开发者。

多模态生成
11K+22016年7月21日
Megvii-BaseDetection GitHub avatar

Megvii-BaseDetection/YOLOXYOLOX

Python

YOLOX 目标检测 · Megvii-BaseDetection

YOLOX 目标检测

★ 11K+11 本周多模态生成2025年6月更新

高性能无锚框 YOLO 目标检测器,精度超过 YOLOv3 至 v5,支持 ONNX、TensorRT、ncnn 等部署后端,适合做检测落地的工程团队。

多模态生成
11K+112021年7月17日
Baiyuetribe GitHub avatar

Baiyuetribe/paper2guipaper2gui

Jupyter Notebook

论文转图形界面工具 · Baiyuetribe

论文转图形界面工具

★ 11K多模态生成2024年9月更新

将人工智能论文中的方法转化为便于使用的图形界面,整合图像增强、视频插帧、人脸修复等模型,让没有命令行经验的用户也能体验相关技术。

多模态生成
11K项目2021年10月10日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。