GitHub 上值得关注的 AI 项目和 Skills

每天追踪 GitHub 上的 AI 开源项目和可直接安装的 Agent Skill,按类别、增长和更新时间整理,每周一出一期精选。

Skill install terminal example: run npx skills add vercel-labs/agent-skills, select Codex and install globally.

请求收录

GitHub 项目

按推荐顺序展示的GitHub 项目。 共 322 个。

phillipi GitHub avatar

phillipi/pix2pixpix2pix

Lua

条件对抗图像翻译 · phillipi

条件对抗图像翻译

★ 11K+3 本周多模态生成2021年6月更新

基于条件生成对抗网络的图像到图像翻译框架,可实现线稿上色、语义图转照片等效果,适合计算机视觉研究与图像生成实验。

多模态生成
11K+32016年11月17日
advimman GitHub avatar

advimman/lamalama

Jupyter Notebook

LaMa 图像修复模型 · advimman

LaMa 图像修复模型

★ 10K+18 本周多模态生成2025年2月更新

基于傅里叶卷积的大掩码图像修复模型,对高分辨率图像效果稳定,适合做老照片修复、物体移除等图像编辑任务的开发者。

多模态生成
10K+182021年8月31日
mozilla GitHub avatar

mozilla/TTSTTS

Jupyter Notebook

开源语音合成工具 · mozilla

开源语音合成工具

★ 10K+3 本周多模态生成2023年11月更新

基于深度学习的文本转语音系统,提供 Tacotron2、MelGAN 等模型与训练流程,适合研究者和开发者搭建多说话人语音合成服务。

多模态生成
10K+32018年1月23日
OpenGVLab GitHub avatar

OpenGVLab/InternVLInternVL

Python

开源多模态大模型 · OpenGVLab

开源多模态大模型

★ 10K+5 本周多模态生成2025年9月更新

接近 GPT-4o 表现的开源多模态对话模型系列,支持图像、视频理解与图文检索,适合研究者和开发者做视觉语言任务与本地部署。

多模态生成
10K+52023年11月22日
YaoFANGUK GitHub avatar

YaoFANGUK/video-subtitle-extractorvideo-subtitle-extractor

Python

视频字幕提取工具 · YaoFANGUK

视频字幕提取工具

★ 9.7K+21 本周多模态生成4月9日更新

通过本地深度学习识别视频中的硬字幕,自动检测字幕区域并提取文字,生成 SRT 字幕文件,无需申请第三方 API,适合需要为视频制作字幕或整理字幕文本的用户。

多模态生成
9.7K+212020年10月5日
PeterL1n GitHub avatar

PeterL1n/RobustVideoMattingRobustVideoMatting

Python

视频抠像工具 · PeterL1n

视频抠像工具

★ 9.6K+27 本周多模态生成2024年4月更新

基于深度学习从视频中分离前景与背景,提供 PyTorch、TensorFlow、ONNX 和 CoreML 等实现,适合需要将人物或主体从视频背景中提取出来的开发者。

多模态生成
9.6K+272021年8月31日
ashawkey GitHub avatar

ashawkey/stable-dreamfusionstable-dreamfusion

Python

文本图像转三维工具 · ashawkey

文本图像转三维工具

★ 8.9K+5 本周多模态生成2023年12月更新

基于 NeRF 与扩散模型,将文本或图像生成三维内容并支持网格导出,适合研究人员和开发者探索生成式三维建模及相关实验。

多模态生成
8.9K+52022年10月6日
FoundationVision GitHub avatar

FoundationVision/VARVAR

Jupyter Notebook

自回归图像生成模型 · FoundationVision

自回归图像生成模型

★ 8.8K+1 本周多模态生成2025年11月更新

视觉自回归建模的官方实现,通过逐尺度预测生成图像,提供简洁易用的研究代码,适合探索图像生成模型与视觉 Transformer 的研究者。

多模态生成
8.8K+12024年4月2日
lucidrains GitHub avatar

lucidrains/imagen-pytorchimagen-pytorch

Python

文本生成图像模型 · lucidrains

文本生成图像模型

★ 8.4K多模态生成2024年10月更新

基于 PyTorch 实现 Imagen 文本生成图像神经网络,供研究者和开发者探索文本条件图像生成模型及其训练与推理流程。

多模态生成
8.4K项目2022年5月24日
RayVentura GitHub avatar

RayVentura/ShortGPTShortGPT

Python

短视频自动化框架 · RayVentura

短视频自动化框架

★ 8.2K+23 本周多模态生成2025年2月更新

面向 YouTube Shorts 和 TikTok 内容创作者的实验性 AI 框架,可自动化短视频频道制作流程,结合生成式 AI 与视频编辑能力,适合探索批量内容生产的用户。

多模态生成
8.2K+232023年6月28日
jamez-bondos GitHub avatar

jamez-bondos/awesome-gpt4o-imagesawesome-gpt4o-images

JavaScript

AI生成图像案例集 · jamez-bondos

AI生成图像案例集

★ 8.2K+5 本周多模态生成2025年5月更新

精选展示由 GPT-4o、gpt-image-1 等工具生成的图像与提示词,涵盖多种视觉风格,可供创作者和提示词实践者参考灵感与生成效果。

多模态生成
8.2K+52025年4月13日
ZHO-ZHO-ZHO GitHub avatar

ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHOComfyUI-Workflows-ZHO

ComfyUI 工作流集 · ZHO-ZHO-ZHO

ComfyUI 工作流集

★ 8.0K+19 本周多模态生成2024年12月更新

汇集用于 ComfyUI 的 Stable Diffusion 工作流,方便图像生成创作者复用和探索不同创作流程;适合已经使用 ComfyUI 的用户。

多模态生成
8.0K+192024年3月6日
jaywalnut310 GitHub avatar

jaywalnut310/vitsvits

Python

端到端语音合成模型 · jaywalnut310

端到端语音合成模型

★ 7.9K+1 本周多模态生成2023年12月更新

基于条件变分自编码器与对抗学习实现文本到语音合成,提供端到端的语音生成模型,适合研究者和开发者进行语音合成实验与应用开发。

多模态生成
7.9K+12021年5月27日
1adrianb GitHub avatar

1adrianb/face-alignmentface-alignment

Python

人脸对齐库 · 1adrianb

人脸对齐库

★ 7.5K多模态生成4月7日更新

基于 PyTorch 提供二维与三维人脸关键点检测和对齐能力,适合计算机视觉开发者用于人脸分析、姿态估计及相关视觉处理流程。

多模态生成
7.5K项目2017年9月16日
open-mmlab GitHub avatar

open-mmlab/mmagicmmagic

Jupyter Notebook

多模态生成工具箱 · open-mmlab

多模态生成工具箱

★ 7.5K+1 本周多模态生成2024年8月更新

基于 PyTorch 提供图像与视频生成、修复和增强等能力,包含易用 API、模型库及扩散模型实现,适合从事计算机视觉和生成式内容开发的研究者与工程师。

多模态生成
7.5K+12019年8月23日
AbdullahAlfaraj GitHub avatar

AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-PluginAuto-Photoshop-StableDiffusion-Plugin

TypeScript

绘图软件扩展 · AbdullahAlfaraj

绘图软件扩展

★ 7.3K+3 本周多模态生成2024年4月更新

为 Photoshop 提供 Stable Diffusion 图像生成插件,可连接 Automatic1111 或 ComfyUI 后端,适合希望在熟悉的图像编辑流程中生成 AI 图像的创作者。

多模态生成
7.3K+32022年12月21日
NVIDIA GitHub avatar

NVIDIA/pix2pixHDpix2pixHD

Python

高分辨率图像生成模型 · NVIDIA

高分辨率图像生成模型

★ 6.9K+2 本周多模态生成2024年11月更新

基于条件生成对抗网络合成和编辑高分辨率图像,面向图像到图像转换与计算机视觉研究,适合希望复现实验或探索 GAN 图像生成的开发者。

多模态生成
6.9K+22017年12月2日
souzatharsis GitHub avatar

souzatharsis/podcastfypodcastfy

Python

AI 播客生成工具 · souzatharsis

AI 播客生成工具

★ 6.8K+26 本周多模态生成5月4日更新

将多模态资料转换为多语言对话式播客的开源 Python 工具,适合希望把文档等内容制作成音频节目的用户,可借助生成式 AI 合成主持人对话。

多模态生成
6.8K+262024年10月1日
canopyai GitHub avatar

canopyai/Orpheus-TTSOrpheus-TTS

Python

Orpheus 语音合成 · canopyai

Orpheus 语音合成

★ 6.4K多模态生成2025年12月更新

基于大模型的实时语音合成系统,生成接近真人音色的自然语音,适合做语音助手、有声内容和实时对话应用的开发者使用。

多模态生成
6.4K项目2025年3月8日
yl4579 GitHub avatar

yl4579/StyleTTS2StyleTTS2

Python

StyleTTS2 语音合成 · yl4579

StyleTTS2 语音合成

★ 6.4K多模态生成2024年8月更新

用风格扩散和大语音模型对抗训练实现接近人声水平的文本转语音,适合研究语音合成与音色克隆的开发者复现和二次开发。

多模态生成
6.4K项目2023年6月14日
szad670401 GitHub avatar

szad670401/HyperLPRHyperLPR

C++

中文车牌识别框架 · szad670401

中文车牌识别框架

★ 6.3K+1 本周多模态生成2025年2月更新

高性能中文车牌识别框架,覆盖检测与识别全流程,提供 C++ 与 Android 支持,适合做交通视觉落地的开发者参考使用。

多模态生成
6.3K+12017年9月24日
RangiLyu GitHub avatar

RangiLyu/nanodetnanodet

Python

轻量目标检测模型 · RangiLyu

轻量目标检测模型

★ 6.3K+4 本周多模态生成2024年8月更新

无锚框的轻量级目标检测模型,int8 量化后仅约 980KB,手机端可达 97FPS,适合在移动端和嵌入式设备上做实时检测。

多模态生成
6.3K+42020年10月19日
OFA-Sys GitHub avatar

OFA-Sys/Chinese-CLIPChinese-CLIP

Jupyter Notebook

中文 CLIP 模型 · OFA-Sys

中文 CLIP 模型

★ 6.1K+8 本周多模态生成3月31日更新

中文版 CLIP 预训练模型,支持中文图文检索与跨模态表征生成,提供多个规模权重,适合做中文图文匹配、检索和多模态研究的开发者。

多模态生成
6.1K+82022年7月8日
dmlc GitHub avatar

dmlc/gluon-cvgluon-cv

Python

Gluon 计算机视觉工具包 · dmlc

Gluon 计算机视觉工具包

★ 5.9K多模态生成2024年11月更新

基于 MXNet 与 Gluon 的计算机视觉工具包,涵盖图像分类、目标检测、语义分割、GAN 和行人重识别等模型与训练脚本,适合视觉方向的研究与工程实践。

多模态生成
5.9K项目2018年2月26日
hzwer GitHub avatar

hzwer/ECCV2022-RIFEECCV2022-RIFE

Python

RIFE 视频插帧 · hzwer

RIFE 视频插帧

★ 5.7K+23 本周多模态生成2025年9月更新

ECCV2022 提出的实时中间流估计视频插帧方法,可把低帧率视频补成高帧率,适合视频修复、慢动作制作与视觉研究。

多模态生成
5.7K+232020年11月12日
Fanghua-Yu GitHub avatar

Fanghua-Yu/SUPIRSUPIR

Python

真实图像修复模型 · Fanghua-Yu

真实图像修复模型

★ 5.7K+9 本周多模态生成2025年5月更新

面向真实场景照片修复的深度学习项目,结合扩散模型等方法提升图像质量与细节表现,适合研究图像超分辨率、复原算法或开展相关实验的开发者。

多模态生成
5.7K+92023年12月21日
lucidrains GitHub avatar

lucidrains/DALLE-pytorchDALLE-pytorch

Python

DALL-E 复现实现 · lucidrains

DALL-E 复现实现

★ 5.6K多模态生成2024年2月更新

用 PyTorch 复现 OpenAI 文本到图像 Transformer DALL-E 的开源实现,适合想理解或研究文生图模型原理的开发者与研究者阅读和实验。

多模态生成
5.6K项目2021年1月6日
amdegroot GitHub avatar

amdegroot/ssd.pytorchssd.pytorch

Python

SSD 目标检测实现 · amdegroot

SSD 目标检测实现

★ 5.2K多模态生成2021年12月更新

Single Shot MultiBox Detector 的 PyTorch 复现,包含训练与推理代码,可用于图像和摄像头实时目标检测,适合学习目标检测算法的计算机视觉开发者。

多模态生成
5.2K项目2017年2月8日
open-mmlab GitHub avatar

open-mmlab/mmaction2mmaction2

Python

视频理解工具箱 · open-mmlab

视频理解工具箱

★ 5.2K+8 本周多模态生成3月18日更新

OpenMMLab 推出的视频理解工具箱与基准,覆盖动作识别、时序动作定位等任务,集成 SlowFast、TSN 等主流模型,适合视频算法研究与复现。

多模态生成
5.2K+82020年7月11日
philz1337x GitHub avatar

philz1337x/clarity-upscalerclarity-upscaler

Python

AI图像超分工具 · philz1337x

AI图像超分工具

★ 5.2K+1 本周多模态生成2025年3月更新

用于放大和增强图像的开源 AI 工具,面向需要改善图片清晰度与细节的创作者;支持基于 Stable Diffusion 的图生图工作流,可作为付费图像增强服务的替代方案。

多模态生成
5.2K+12024年3月15日
ZheC GitHub avatar

ZheC/Realtime_Multi-Person_Pose_EstimationRealtime_Multi-Person_Pose_Estimation

Jupyter Notebook

实时多人姿态估计 · ZheC

实时多人姿态估计

★ 5.1K多模态生成2020年3月更新

CVPR'17 口头报告的实时多人姿态估计官方代码,基于 Caffe 实现,适合计算机视觉研究者复现与二次开发人体关键点检测。

多模态生成
5.1K项目2016年12月13日
pkuliyi2015 GitHub avatar

pkuliyi2015/multidiffusion-upscaler-for-automatic1111multidiffusion-upscaler-for-automatic1111

Python

扩散模型图像放大器 · pkuliyi2015

扩散模型图像放大器

★ 5.0K多模态生成2024年8月更新

面向 AUTOMATIC1111 Stable Diffusion WebUI 的插件,通过分块扩散与 VAE 优化生成大尺寸图像,帮助显存有限的用户提升放大处理能力。

多模态生成
5.0K项目2023年2月27日
nateraw GitHub avatar

nateraw/stable-diffusion-videosstable-diffusion-videos

Python

扩散模型视频生成工具 · nateraw

扩散模型视频生成工具

★ 4.7K+1 本周多模态生成2025年12月更新

利用 Stable Diffusion 探索潜空间并在文本提示之间平滑变换,生成创意视频内容,适合熟悉 Python 和扩散模型的开发者与影像创作者。

多模态生成
4.7K+12022年9月7日
joanrod GitHub avatar

joanrod/star-vectorstar-vector

Python

SVG 生成基础模型 · joanrod

SVG 生成基础模型

★ 4.6K+3 本周多模态生成2025年11月更新

基于视觉语言模型架构的 SVG 生成基础模型,把矢量化当作代码生成任务,同时接受图像和文本输入,输出高精度 SVG 代码。

多模态生成
4.6K+32023年12月11日
fixie-ai GitHub avatar

fixie-ai/ultravoxultravox

Python

实时语音多模态大模型 · fixie-ai

实时语音多模态大模型

★ 4.6K多模态生成2025年12月更新

面向实时语音交互的多模态大模型,能直接理解语音并快速生成回复,适合做语音助手、实时对话等低延迟语音应用的开发者。

多模态生成
4.6K项目2024年5月30日
riffusion GitHub avatar

riffusion/riffusion-hobbyriffusion-hobby

Python

实时音乐生成工具 · riffusion

实时音乐生成工具

★ 3.9K+1 本周多模态生成2024年7月更新

基于 Stable Diffusion 将文本提示实时转化为音乐频谱并生成音频,适合探索生成式音乐创作的开发者和创作者。项目提供可运行的 Python 实现,聚焦交互式音乐生成。

多模态生成
3.9K+12022年11月26日
lkwq007 GitHub avatar

lkwq007/stablediffusion-infinitystablediffusion-infinity

Python

无限画布扩图工具 · lkwq007

无限画布扩图工具

★ 3.9K多模态生成2023年5月更新

基于 Stable Diffusion 在无限画布上进行图像外扩与补绘,适合需要扩展画面边界或探索连续场景创作的图像创作者。提供图形界面,将生成模型用于交互式图像编辑。

多模态生成
3.9K项目2022年9月2日
premieroctet GitHub avatar

premieroctet/photoshotphotoshot

TypeScript

AI头像生成应用 · premieroctet

AI头像生成应用

★ 3.9K+2 本周多模态生成2024年12月更新

开源的 AI 头像生成网页应用,基于 Stable Diffusion 与 DreamBooth 生成个性化头像,适合想体验或部署头像生成服务的用户。

多模态生成
3.9K+22022年12月6日
jina-ai GitHub avatar

jina-ai/discoartdiscoart

Python

扩散艺术生成工具 · jina-ai

扩散艺术生成工具

★ 3.8K+3 本周多模态生成2023年5月更新

通过简洁的 Python 调用生成 Disco Diffusion 风格的艺术图像,适合探索文本驱动的生成艺术与扩散模型创作;项目聚焦图像生成工作流。

多模态生成
3.8K+32022年7月1日
Hunyuan-PromptEnhancer GitHub avatar

Hunyuan-PromptEnhancer/PromptEnhancerPromptEnhancer

Python

图像提示词优化工具 · Hunyuan-PromptEnhancer

图像提示词优化工具

★ 3.8K+3 本周多模态生成8月18日更新

利用视觉语言模型改写和组织图像生成提示词,使描述更清晰、结构更完整,适合希望提升文生图或图像编辑效果的创作者与开发者。

多模态生成
3.8K+32025年9月9日
mlc-ai GitHub avatar

mlc-ai/web-stable-diffusionweb-stable-diffusion

Jupyter Notebook

浏览器扩散模型工具 · mlc-ai

浏览器扩散模型工具

★ 3.7K多模态生成2024年3月更新

将稳定扩散模型运行在浏览器中,依托 WebGPU、WebAssembly 等技术实现无需服务器的本地生成,适合研究人员和前端开发者探索浏览器端图像生成。

多模态生成
3.7K项目2023年3月6日
NExT-GPT GitHub avatar

NExT-GPT/NExT-GPTNExT-GPT

Python

全模态大模型 · NExT-GPT

全模态大模型

★ 3.6K多模态生成2025年5月更新

提供论文对应的代码与模型,探索统一处理多种输入并生成多种模态内容的大语言模型,适合关注多模态模型研究与复现的开发者和研究人员。

多模态生成
3.6K项目2023年8月30日
continue-revolution GitHub avatar

continue-revolution/sd-webui-segment-anythingsd-webui-segment-anything

Python

图像分割插件 · continue-revolution

图像分割插件

★ 3.5K多模态生成2024年4月更新

将 Segment Anything 图像分割能力集成到 Stable Diffusion WebUI,方便用户在生成工作流中选择和处理图像区域,适合使用该界面的图像创作者。

多模态生成
3.5K项目2023年4月10日
towhee-io GitHub avatar

towhee-io/towheetowhee

Python

神经数据处理框架 · towhee-io

神经数据处理框架

★ 3.5K多模态生成2024年10月更新

用于构建高效的神经网络数据处理流水线,支持图像、视频等非结构化数据的特征提取与向量检索。适合开发计算机视觉和多模态数据应用的工程师。

多模态生成
3.5K项目2021年7月13日
EvolvingLMMs-Lab GitHub avatar

EvolvingLMMs-Lab/OtterOtter

Python

Otter 多模态指令模型 · EvolvingLMMs-Lab

Otter 多模态指令模型

★ 3.4K多模态生成2024年3月更新

基于 OpenFlamingo 训练的多模态模型,在 MIMIC-IT 数据上微调,具备更强的指令跟随与上下文学习能力,适合研究视觉语言模型和多模态对话的开发者。

多模态生成
3.4K项目2023年4月1日
OpenGVLab GitHub avatar

OpenGVLab/Ask-AnythingAsk-Anything

Python

视频理解问答应用 · OpenGVLab

视频理解问答应用

★ 3.4K多模态生成7月17日更新

提供基于大语言模型的视频理解与问答应用,可围绕视频内容进行对话,并支持多种模型方案,适合探索视频分析与多模态交互的开发者。

多模态生成
3.4K项目2023年4月19日
agentheroes GitHub avatar

agentheroes/agentheroesagentheroes

TypeScript

AI 角色生成平台 · agentheroes

AI 角色生成平台

★ 3.3K多模态生成2025年6月更新

生成、驱动动画并定时发布 AI 虚拟角色,支持 LoRA 训练、图像与视频生成工作流,适合想打造个人 AI 角色或虚拟主播的创作者。

多模态生成
3.3K项目2023年5月22日
JIA-Lab-research GitHub avatar

JIA-Lab-research/MGMMGM

Python

多模态视觉语言模型 · JIA-Lab-research

多模态视觉语言模型

★ 3.3K多模态生成2024年5月更新

Mini-Gemini 多模态视觉语言模型研究的官方实现,探索视觉语言模型的能力与应用。适合关注图像理解和多模态大模型的研究者及开发者。

多模态生成
3.3K项目2024年3月26日

找不到你要的项目或 Skill?

告诉我们仓库地址和用途,帮助补充你希望收录的项目。

请求收录

接着逛逛 RZH.AI

模型和排行榜也按同样的方式整理好了,每个数字都能看到出处。