arcee-ai GitHub avatar

mergekit

Python
大模型合并工具arcee-ai最近推送 2026年10月31日
训练与微调LGPL-3.07,478810278 issues7 天 +31

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

合并预训练大语言模型权重的工具,无需训练即可融合多个模型。

mergekit 是一个用于合并预训练语言模型权重的 Python 工具集。它采用外存(out-of-core)方式,可在 CPU 或低显存(最低 8GB)环境下运行复杂的合并操作,支持多种合并算法和模型架构。

推荐指数

4.0

功能全面、社区活跃的模型合并工具,适合想低成本融合模型能力的开发者。

近 7 天

+31

新增 Star

总 Star 排名

#885

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月21日

核心亮点

  • 1低资源运行

    支持纯 CPU 或最低 8GB 显存运行,采用惰性加载降低内存占用。

  • 2多种合并算法

    内置线性、任务算术、TIES、DARE 等多种合并方法,并持续增加。

  • 3支持多架构

    兼容 Llama、Mistral、GPT-NeoX、StableLM 等主流模型结构。

  • 4高级功能

    支持 LoRA 提取、专家混合合并、进化合并、多阶段合并等。

  • 5YAML 配置驱动

    通过 YAML 文件定义合并流程,便于复现和分享。

适用场景

  • 融合多个微调模型

    例如:将分别擅长代码和数学的两个 Llama 微调模型合并,得到一个多能力模型。

  • 模型能力迁移

    例如:在没有训练数据的情况下,将某个模型的特定能力迁移到另一个模型。

  • 低成本模型实验

    例如:在单张消费级显卡上尝试不同合并算法,寻找最佳参数组合。

  • 构建专家混合模型

    例如:将多个专家模型合并为 MoE 结构,提升推理效率。

它是怎么工作的

  1. 第 1 步

    编写 YAML 配置

    指定要合并的模型、合并方法及参数(如权重、密度等)。

  2. 第 2 步

    运行合并命令

    使用 mergekit-yaml 脚本读取配置,按需加载模型张量。

  3. 第 3 步

    执行合并算法

    在权重空间中对张量进行插值、裁剪、符号对齐等操作。

  4. 第 4 步

    输出合并模型

    将结果保存为 Hugging Face 格式的模型目录,可直接加载或上传。

快速上手

  1. 1

    克隆并安装

    从 GitHub 克隆仓库并以可编辑模式安装。

    git clone https://github.com/arcee-ai/mergekit.git && cd mergekit && pip install -e .
  2. 2

    准备配置文件

    编写一个 YAML 文件,定义要合并的模型和合并方法。

  3. 3

    运行合并

    使用 mergekit-yaml 命令执行合并,可加 --cuda 加速。

    mergekit-yaml path/to/your/config.yml ./output-model-directory [--cuda]
  4. 4

    上传模型(可选)

    登录 Hugging Face 并上传合并后的模型。

    huggingface-cli login && huggingface-cli upload your_hf_username/my-cool-model ./output-model-directory .

适合谁

  • 想融合多个微调模型能力的研究者和开发者
  • 需要在有限硬件资源下进行模型实验的个人开发者
  • 对模型合并算法感兴趣、想尝试不同配置的工程师

不太适合

  • 不熟悉模型权重和 YAML 配置的初学者
  • 需要开箱即用、无需手动配置的终端用户

成熟度

  • 活跃度最近一次推送在 2026 年 10 月,持续活跃开发。
  • 文档README 详细,包含安装、配置、方法说明和示例。
  • 社区7.4k stars、808 forks,有 Discord 社区和贡献指南。
  • 上手难度需要编写 YAML 配置和理解合并概念,有一定上手门槛。

同类项目怎么选

  • model-merging更轻量,但支持的合并算法和模型架构较少。
  • ties-merging专注于 TIES 方法,功能单一,不如 mergekit 全面。

使用前注意

  • · 采用 LGPL-3.0 许可证,商用或修改分发时需注意合规要求。
  • · 合并效果依赖模型结构和参数选择,需要实验调优。
  • · 大模型合并仍需要足够的磁盘空间和内存/显存。
  • · 部分高级功能(如进化合并)可能计算开销较大。

主题标签

llamallmmodel-merging