AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
合并预训练大语言模型权重的工具,无需训练即可融合多个模型。
mergekit 是一个用于合并预训练语言模型权重的 Python 工具集。它采用外存(out-of-core)方式,可在 CPU 或低显存(最低 8GB)环境下运行复杂的合并操作,支持多种合并算法和模型架构。
推荐指数
功能全面、社区活跃的模型合并工具,适合想低成本融合模型能力的开发者。
近 7 天
+31
新增 Star
总 Star 排名
#885
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年8月21日
核心亮点
1低资源运行
支持纯 CPU 或最低 8GB 显存运行,采用惰性加载降低内存占用。
2多种合并算法
内置线性、任务算术、TIES、DARE 等多种合并方法,并持续增加。
3支持多架构
兼容 Llama、Mistral、GPT-NeoX、StableLM 等主流模型结构。
4高级功能
支持 LoRA 提取、专家混合合并、进化合并、多阶段合并等。
5YAML 配置驱动
通过 YAML 文件定义合并流程,便于复现和分享。
适用场景
融合多个微调模型
例如:将分别擅长代码和数学的两个 Llama 微调模型合并,得到一个多能力模型。
模型能力迁移
例如:在没有训练数据的情况下,将某个模型的特定能力迁移到另一个模型。
低成本模型实验
例如:在单张消费级显卡上尝试不同合并算法,寻找最佳参数组合。
构建专家混合模型
例如:将多个专家模型合并为 MoE 结构,提升推理效率。
它是怎么工作的
第 1 步
编写 YAML 配置
指定要合并的模型、合并方法及参数(如权重、密度等)。
第 2 步
运行合并命令
使用 mergekit-yaml 脚本读取配置,按需加载模型张量。
第 3 步
执行合并算法
在权重空间中对张量进行插值、裁剪、符号对齐等操作。
第 4 步
输出合并模型
将结果保存为 Hugging Face 格式的模型目录,可直接加载或上传。
快速上手
- 1
克隆并安装
从 GitHub 克隆仓库并以可编辑模式安装。
git clone https://github.com/arcee-ai/mergekit.git && cd mergekit && pip install -e . - 2
准备配置文件
编写一个 YAML 文件,定义要合并的模型和合并方法。
- 3
运行合并
使用 mergekit-yaml 命令执行合并,可加 --cuda 加速。
mergekit-yaml path/to/your/config.yml ./output-model-directory [--cuda] - 4
上传模型(可选)
登录 Hugging Face 并上传合并后的模型。
huggingface-cli login && huggingface-cli upload your_hf_username/my-cool-model ./output-model-directory .
适合谁
- 想融合多个微调模型能力的研究者和开发者
- 需要在有限硬件资源下进行模型实验的个人开发者
- 对模型合并算法感兴趣、想尝试不同配置的工程师
不太适合
- 不熟悉模型权重和 YAML 配置的初学者
- 需要开箱即用、无需手动配置的终端用户
成熟度
- 活跃度最近一次推送在 2026 年 10 月,持续活跃开发。
- 文档README 详细,包含安装、配置、方法说明和示例。
- 社区7.4k stars、808 forks,有 Discord 社区和贡献指南。
- 上手难度需要编写 YAML 配置和理解合并概念,有一定上手门槛。
同类项目怎么选
- model-merging更轻量,但支持的合并算法和模型架构较少。
- ties-merging专注于 TIES 方法,功能单一,不如 mergekit 全面。
使用前注意
- · 采用 LGPL-3.0 许可证,商用或修改分发时需注意合规要求。
- · 合并效果依赖模型结构和参数选择,需要实验调优。
- · 大模型合并仍需要足够的磁盘空间和内存/显存。
- · 部分高级功能(如进化合并)可能计算开销较大。
