QLoRA 训练报错

[Zarc98]

int4 报错：RuntimeError: self and mat2 must have the same dtype
训练参数：
CUDA_VISIBLE_DEVICES=0 python src/train_sft.py
--model_name_or_path /models/bloomz-7b1-mt
--do_train
--dataset alpaca_gpt4_zh
--finetuning_type lora
--quantization_bit 4
--output_dir bloomz_lora
--overwrite_cache
--per_device_train_batch_size 1
--gradient_accumulation_steps 4
--lr_scheduler_type cosine
--logging_steps 10
--save_steps 1000
--learning_rate 5e-5
--num_train_epochs 3.0
--resume_lora_training False
--plot_loss
--fp16

上述参数的 --quantization_bit 如果设置为 8  可正常训练
设备：RTX3080

[suclogger]

seems relate to #15

[hiyouga]

请更新 peft 库版本。

pip install -U git+https://github.com/huggingface/peft.git

[Zarc98]

更新到最新peft库版本 可以正常开启int4 qlora训练