请问 continuous-finetune 的实现原理是什么？是语料的不断merge还是合并了各个批次的LoRa Adapter？

[valkryhx]

对Vicuna模型很感兴趣，刚看到这个项目，想请教一下。
LoRA finetune会生成Adapter，
想请教一下项目主页中提到的continuous-finetune是合并了不同语料finetune后不同批次的LAdapter吗？
还是说是训练语料的merge来实现？
谢谢。

[Facico]

合并语料

[valkryhx]

合并语料

我看到tools目录下有个merge.py
是把lora adapter参数合并到大模型
那是不是可以用参数合并的方式而不是语料合并来连续微调呢

[Facico]

直接多个lora参数相加肯定是不会有什么效果的，你想做的是类似MoE那种形式吧，可以参考这个issue
tools目录那个merge完了之后其实还是套了一层peft的壳子，peft里面应该是套的loralib的壳子，虽然里面实现的是对矩阵的合并，但是代码层面还是两块东西