1. 项目概述模型融合的“瑞士军刀”如果你在开源大模型社区里混迹过一段时间大概率会听说过“模型融合”这个词。简单来说它就像把两个或多个训练好的模型“杂交”一下试图结合它们的优点诞生一个能力更强、更全面的新模型。听起来很酷对吧但实际操作起来从权重对齐、参数平均到更复杂的算法每一步都充满了技术细节和“坑”。而arcee-ai/mergekit这个项目就是专门为了解决这些痛点而生的一个工具库。我把它称为模型融合领域的“瑞士军刀”。它不是某个单一的融合算法而是一个集成了多种主流融合方法如线性合并、任务向量运算、SLERP球面线性插值等的框架并且提供了极其灵活的配置方式。无论你是想简单粗暴地把两个同架构模型的权重取个平均值还是想玩点花的比如用DARE TIES方法把十几个专家模型的知识精炼到一个模型里mergekit都能给你提供一套现成的、可脚本化执行的方案。这个工具的核心价值在于标准化和自动化。在过去你想融合两个模型可能需要自己写脚本去加载权重、处理格式转换、实现融合算法还得小心张量维度对齐等问题。现在你只需要写一个YAML配置文件定义好输入模型、融合方法和输出路径然后一行命令就能跑起来。这大大降低了模型融合的技术门槛让更多的开发者和研究者能够快速实验自己的想法也催生了Hugging Face上大量的社区融合模型。2. mergekit的核心架构与设计哲学2.1 配置驱动一切皆可YAMLmergekit最精髓的设计就是其配置驱动的工作流。它把复杂的融合过程抽象成了一个配置文件通常是YAML格式这个文件描述了整个融合任务的“蓝图”。这种设计带来了几个显著好处首先是极高的可复现性。你的整个融合实验——用了哪些模型、什么比例、何种算法——都被记录在这个配置文件里。下次想完全复现或者微调参数直接修改配置文件并重新运行即可避免了手动操作可能带来的错误和遗漏。这对于研究和技术分享至关重要。其次是灵活的模块化。配置文件的结构清晰定义了“输入模型”、“融合方法”和“输出设置”几个部分。比如在models部分你可以列出所有参与融合的基座模型并可以为每个模型指定一个别名方便后续引用。在merge_method部分你可以选择像linear线性合并、slerp球面线性插值、ties或dare_ties等算法并配置相应的参数如权重、密度参数等。最后是强大的表达能力。通过YAML配置你可以实现非常复杂的融合拓扑而不仅仅是两两合并。例如你可以先融合A和B模型的某些层再将结果与C模型的另一些层进行二次融合。mergekit支持按层layer进行细粒度控制这为实现更精细的模型能力组合提供了可能。一个最简单的线性合并配置示例如下models: - model: mistralai/Mistral-7B-v0.1 # 模型A parameters: weight: 0.5 # 权重50% - model: meta-llama/Llama-2-7b-hf # 模型B parameters: weight: 0.5 # 权重50% merge_method: linear base_model: mistralai/Mistral-7B-v0.1 # 指定基础架构通常选第一个模型 dtype: bfloat16 # 输出模型的数据类型2.2 支持的融合算法全景mergekit不是一个单一算法而是一个算法工具箱。理解每种方法的适用场景是玩转它的关键。2.2.1 线性合并与SLERP这是最简单和直观的两种方法。线性合并就是直接对两个模型的权重进行加权平均新权重 权重A * 模型A权重 权重B * 模型B权重。这种方法计算高效适用于融合架构相同、任务相似的模型例如两个都在代码任务上微调过的7B模型。但它假设模型权重空间是线性的对于差异较大的模型效果可能不稳定。SLERP全称Spherical Linear Interpolation球面线性插值。它不是在原始的权重向量空间做线性插值而是先将权重向量投影到一个超球面上沿着球面上的最短路径大圆弧进行插值。理论上SLERP能比线性插值产生更平滑、更自然的权重过渡尤其在融合差异较大的模型时可能保留更多各自的特征。但计算成本比线性合并高。2.2.2 TIES与DARE TIES面向多专家模型的融合当需要融合的模型数量很多比如几十个时直接平均会导致知识被“稀释”。TIESTrIm, Elect Sign Merge和它的增强版DARE TIESDrop And REscale TIES就是为了解决这个问题而设计的。核心思想不是所有参数都同等重要。这些方法会先对来自不同模型的参数进行“修剪”Trim例如只保留那些在多个模型中符号一致且幅度较大的参数或者像DARE一样随机“丢弃”一部分参数后再重新缩放以降低冗余和冲突。应用场景这在融合多个针对不同任务微调的“专家”模型例如一个擅长数学一个擅长写作一个擅长代码时特别有效。目标是将这些专家的能力高效地整合到一个“通才”模型中而DARE TIES常常是这种任务的首选方法因为它能更好地处理参数冲突并提升融合后模型的整体性能。2.2.3 任务向量运算这种方法将模型视为一个“基础能力点”而微调带来的改变视为一个“方向向量”任务向量。融合操作就是在向量空间中进行加减。例如模型C 模型A α * (模型B - 模型A)其中(模型B - 模型A)可以看作是从A到B的任务向量。通过调整α可以控制B模型特性注入的强度。这种方法更侧重于有目的地调整模型的某些行为特性。注意选择哪种算法没有绝对的银弹。线性/SLERP适合快速实验和简单合并TIES系列适合融合多个专家模型任务向量运算适合进行可控的属性编辑。通常需要根据你的基座模型特点、融合目标和小规模实验效果来决定。3. 从零开始手把手运行你的第一次模型融合理论说了这么多我们来点实际的。假设我们手头有两个基于Llama 2 7B架构微调的开源模型一个擅长代码生成比如Phind/Phind-CodeLlama-34B-v2的7B版本一个擅长对话比如NousResearch/Nous-Hermes-2-SOLAR-10.7B的7B版本。我们想创造一个既会写代码又能聊天的模型。3.1 环境准备与安装首先你需要一个拥有足够GPU内存的机器。融合7B模型建议至少有16GB以上的GPU内存例如一张RTX 4090或A100。使用Python 3.9或以上版本。步骤1创建虚拟环境推荐conda create -n mergekit python3.10 -y conda activate mergekit步骤2安装mergekitmergekit提供了两种安装方式。对于大多数用户直接pip安装稳定版即可pip install mergekit如果你想体验最新功能可能包含实验性特性可以从源码安装git clone https://github.com/arcee-ai/mergekit.git cd mergekit pip install -e .步骤3验证安装安装完成后可以运行mergekit --help查看帮助信息确认安装成功。3.2 编写你的第一个融合配方接下来我们创建一个YAML配置文件命名为code_chat_merge.yaml。我们使用线性合并作为第一个实验。# code_chat_merge.yaml models: - model: codellama/CodeLlama-7b-Instruct-hf # 代码专家模型 parameters: weight: 0.6 # 赋予60%的权重因为我们更偏向代码能力 - model: NousResearch/Nous-Hermes-2-SOLAR-10.7B # 对话专家模型 parameters: weight: 0.4 # 赋予40%的权重 merge_method: linear base_model: codellama/CodeLlama-7b-Instruct-hf # 以代码模型的架构为基础 dtype: bfloat16 # 输出模型精度节省空间且对性能影响小 tokenizer_source: union # 分词器处理方式取两个模型分词器的并集参数详解base_model: 这决定了输出模型的基本架构如层数、注意力头数等。通常选择参与融合的模型之一必须确保其他模型与它在架构上兼容。dtype: 输出模型的权重数据类型。float16或bfloat16是常见选择能在精度和内存/磁盘占用间取得平衡。tokenizer_source: 这是新手容易忽略但至关重要的一个参数。它决定了融合后模型使用哪个分词器。union: 推荐取所有输入模型分词器词汇表的并集。这能确保融合后的模型能理解所有基座模型认识的词汇避免出现unk未知标记。base: 只使用base_model指定的分词器。如果其他模型有特殊词汇可能会丢失。model1/model2: 指定使用某个具体模型的分词器。3.3 执行融合命令配置文件准备好后运行融合命令就非常简单了mergekit-run merge ./code_chat_merge.yaml ./output_merged_model --allow-crimes --copy-tokenizermergekit-run merge: 执行融合任务的主命令。./code_chat_merge.yaml: 你的配置文件路径。./output_merged_model: 指定融合后模型的保存目录。--allow-crimes: 这是一个有趣的参数。字面意思是“允许犯罪”。实际上它允许mergekit尝试融合那些在严格意义上不完全兼容的模型例如某些层的维度有微小差异。使用这个参数需要你自行承担风险但有时能创造出意想不到的“弗兰肯斯坦”式模型在社区里这种实验很常见。--copy-tokenizer: 将最终选定的分词器配置复制到输出目录。命令开始运行后你会看到进度条mergekit会依次下载模型如果本地没有、加载权重、执行融合计算并保存结果。整个过程耗时取决于模型大小和你的网络、计算速度。3.4 验证与测试融合结果模型融合完成后不要急着庆祝一定要进行验证。步骤1基础加载测试使用Hugging Face的transformers库尝试加载模型确保没有结构错误。from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./output_merged_model tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto, torch_dtypetorch.bfloat16) # 尝试一个简单的生成 input_text 写一个Python函数计算斐波那契数列。 inputs tokenizer(input_text, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens200) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))如果这一步能成功加载并生成文本说明模型文件基本是完整的。步骤2能力基准测试进行更系统的评估。你可以用一些标准的评测数据集如针对代码的HumanEval针对常识的MMLU或者设计一套自己的定性测试Prompt集。代码能力让它写排序算法、解析JSON、解决LeetCode简单题。对话能力让它进行角色扮演、总结文章、回答常识性问题。指令遵循测试它是否能理解并执行复杂的多步骤指令。将融合模型的表现与原来的两个基座模型进行对比看看是否真的取得了“112”的效果还是出现了能力抵消或退化。实操心得第一次融合强烈建议从小模型开始例如1B或3B参数量的模型或者使用mergekit的--lazy-unpickle和--low-cpu-memory选项来减少内存消耗。这能极大缩短你的实验反馈循环。另外融合后的模型第一次加载可能会比较慢因为需要构建索引这是正常现象。4. 高级技巧与复杂融合策略当你掌握了基础操作后可以尝试mergekit更强大的功能来实现更精细的控制和更复杂的融合目标。4.1 分层融合精细控制模型的不同部分有时候我们可能希望模型的前几层负责基础特征提取来自A模型中间层负责逻辑推理来自B模型最后几层负责语言生成来自C模型。mergekit的layer参数允许你做到这一点。models: - model: model_a parameters: weight: 1.0 layers: [0, 1, 2, 3, 4] # 只使用模型A的0-4层 - model: model_b parameters: weight: 1.0 layers: [5, 6, 7, 8, 9] # 只使用模型B的5-9层 - model: model_c parameters: weight: 1.0 layers: [10, 11, 12, 13, 14, 15, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31] # 使用模型C的剩余层 merge_method: passthrough # “直通”模式直接拼接指定层 base_model: model_a dtype: bfloat16这种passthrough模式就像搭积木直接将指定模型的指定层按顺序拼接起来。这需要你对模型架构和每层可能的功能有较深的理解是一种非常高级的玩法常用于研究性实验。4.2 使用DARE TIES融合多个专家模型假设我们现在有5个专家模型分别擅长数学、编程、写作、科学和角色扮演。我们想创造一个全能模型。models: - model: expert_math - model: expert_code - model: expert_writing - model: expert_science - model: expert_roleplay merge_method: dare_ties parameters: density: 0.1 # 只保留10%最重要的参数经过丢弃和重缩放后 weight: [0.3, 0.25, 0.2, 0.15, 0.1] # 为每个专家分配不同的权重 base_model: expert_math # 选择一个作为基础架构 dtype: bfloat16 tokenizer_source: union这里的关键是density参数它控制了保留多少比例的参数。DARE方法会先随机丢弃大部分参数例如只保留density指定的比例然后再对保留的参数进行重缩放以补偿丢弃带来的影响。较低的density如0.1或0.2通常能产生更稳定、性能更好的融合结果因为它强制模型整合最核心、最一致的知识。4.3 模型切片与分量融合mergekit甚至支持只融合模型中的特定组件例如只融合lm_head语言模型头或者只融合注意力层的参数。这通过tensor_map和parameters中的filter选项来实现。这属于非常底层的操作通常用于特定的研究或调试目的比如探究模型的某项能力具体由哪部分参数主导。5. 实战避坑指南与常见问题排查模型融合看起来美好但一路上的“坑”可不少。下面是我在大量实践中总结出的常见问题和解决方案。5.1 内存不足与计算资源管理问题融合大型模型如13B、34B时常遇到GPU内存不足OOM的错误。解决方案使用CPU内存进行融合mergekit默认会尝试使用GPU加速。但如果GPU内存不够可以强制使用CPU。虽然速度慢但系统内存通常比GPU内存大得多。添加--device cpu参数。mergekit-run merge ./config.yaml ./output --device cpu --low-cpu-memory--low-cpu-memory选项会使用更节省内存的加载方式。分片模型确保你下载的基座模型是分片sharded格式的即多个.safetensors文件。这样mergekit可以按需加载权重而不是一次性全部载入内存。关闭内存缓存在Linux系统上如果系统内存紧张可以在融合前清理缓存sync echo 3 | sudo tee /proc/sys/vm/drop_caches。但这只是权宜之计。升级硬件对于持续进行的大模型融合投资大内存GPU或使用云服务是最终方案。5.2 架构不匹配与“犯罪”融合问题模型架构不完全相同如层数不同、注意力头数不同、嵌入维度不同导致融合失败。解决方案仔细检查base_model确保你指定的base_model与其他模型在关键架构参数上兼容。通常应选择与目标输出架构最接近的模型。使用--allow-crimes如前所述这个参数允许mergekit尝试强制融合。它可能会通过裁剪或填充张量来匹配维度。结果不可预测可能产生崩溃的模型也可能产生有趣的混合体。务必进行充分测试。手动调整配置对于层数不同的模型你可以通过layers参数手动映射。例如将一个32层的模型与一个40层的模型融合你可以指定只融合它们共同的前32层或者用slerp方法让多余的部分完全继承自某个模型。5.3 分词器冲突与未知标记问题融合后的模型生成乱码或者频繁出现unk标记。解决方案统一使用tokenizer_source: union这是避免词汇表丢失的最安全方法。确保融合后的模型拥有最全的词汇。检查特殊标记有些模型有自己的特殊标记如|im_start|,|im_end|。确保这些标记在union后的分词器中存在且ID正确。你可以加载融合后的分词器用tokenizer.encode()和tokenizer.decode()测试这些特殊标记。手动合并分词器对于极端情况你可以先分别加载两个模型的分词器手动合并词汇表然后保存为一个新的分词器文件最后在配置中通过tokenizer_source: path/to/your/tokenizer指定。5.4 融合后模型性能下降问题融合后的模型在各项测试中表现都不如任何一个基座模型。排查思路检查权重比例线性合并中0.5:0.5不一定是最优解。尝试不同的权重组合如0.7:0.3, 0.8:0.2。进行网格搜索Grid Search用小批量数据快速验证。尝试不同融合方法线性合并效果不好可以试试SLERP。对于多模型融合一定要尝试DARE TIES。评估方法是否合理你的测试Prompt是否全面是否包含了所有基座模型擅长领域的题目性能下降是全局性的还是仅在某个特定领域细化评估维度。基座模型兼容性两个模型可能是在差异巨大的数据上微调的导致它们的权重空间方向冲突。这种情况下强行融合很难有好结果。考虑更换基座模型或者使用更温和的“任务向量加法”而不是直接合并权重。5.5 社区资源与模型库不要闭门造车。Hugging Face上有一个非常活跃的社区mergekit-playground里面分享了成千上万个由社区成员融合出来的模型及其配置文件YAML。当你想融合某个特定类型的模型比如两个代码模型时先去这里搜索一下很可能已经有人做过类似的实验你可以直接参考甚至复用他们的配置配方这能节省你大量的调参时间。此外多关注像Gryphe/Merged这样的顶级模型融合者研究他们发布的融合模型所用的配置是学习高级技巧的绝佳途径。