还没人告诉你:如何用mergekit把多个微调模型合并成一个超级模型
还在一个一个训练模型?学会这招,效率翻10倍
AI玩家都知道微调模型香,但你知道把多个微调模型”合体”这件事吗?不需要重新训练,不需要GPU,几分钟就能把数学专家模型+编程专家模型+对话模型合并成一个,同时拥有三种能力。这就是今天要推荐的 Skill——model-merging。
这玩意儿到底能干啥?
简单说,它就是一个用 Claude Code 操控 mergekit(Arcee AI 出品)进行模型合并的技能包。mergekit 是目前最火的模型合并工具,而这个 Skill 把它的能力包装成了 Claude 能直接执行的指令集。
核心功能:
- SLERP / TIES-Merging / DARE / 任务算术——四种主流合并算法,一个 Skill 全搞定
- 不需要重新训练,合并时间几分钟搞定
- 支持 Mistral、Llama、Mixtral 等主流架构
- 合并后模型能力往往比任何一个单一模型强,基准测试能提升5-10%
- 合并过程不丢技能,不会出现灾难性遗忘
真实案例:已经有人用这个拿到榜单第一
Marcoro14-7B-slerp——就是用合并技术做出来的,2024年2月直接拿下 Open LLM 排行榜榜首。而这个 Skill,把整个合并流程做成了可复用的工作流,你只需要告诉 Claude 你要合并哪几个模型,它帮你搞定剩下的一切。
适用场景
- 你微调了多个专用模型(代码、数学、写作),想合成一个全能助手
- 想快速实验不同模型变体,找到最优组合
- 没有GPU资源做不起训练,合并在 CPU 上就能跑
- 你需要特定能力的模型,但找不到现成的
怎么安装?
一行命令搞定:
npx skills add davila7/claude-code-templates -a claude-code
装完之后直接说”用 model-merging 技能”,Claude 就懂了。
使用示例
比如你想把 Mistral-7B 和 OpenHermes-2.5 合并,直接告诉 Claude:
用 model-merging 技能,帮我用 linear merge 以 0.5:0.5 权重合并这两个模型,输出 mergekit yaml 配置并执行
Claude 就会帮你生成配置、执行合并、输出最终模型路径。整个过程不需要查文档,不需要手动写命令。
适合谁用?
如果你对模型微调、模型融合有需求,这个 Skill 属于那种装上就不想删的类型。GitHub 上这个模板库有 27k+ Stars,合并只是其中一个 Skill,整个库还有很多有意思的 AI 研究工具值得探索。
GitHub:https://github.com/davila7/claude-code-templates
评论区
登录后可评论。