预训练需要什么配置哇大佬

[starphantom666]

我怕我这两张4090带不动

[hiyouga]

预训练和 SFT 配置一样，如果采用 LoRA 技术，一张 4090 训练 LLaMA-7B 足以。

[trekrollercoaster]

预训练和 SFT 配置一样，如果采用 LoRA 技术，一张 4090 训练 LLaMA-7B 足以。

您好，如果RLHF的话，训练LLaMA-7B是不是需要4张 4090 呢

[hiyouga]

@trekrollercoaster 开 qlora 应该一张能放下。

[trekrollercoaster]

@trekrollercoaster 开 qlora 应该一张能放下。

好的 谢谢