使用sample/merge_sample.json训练的模型output会带出下一句

[Albort-z]

使用python finetune.py --data_path ./sample/merge_sample.json --test_size 8 --output_path my_model训练好模型后，在generate.sh中改为LORA_PATH="./my_model"。启动后output会带出下一句，如下图：

训练过程无报错。
使用原LORA模型没有问题。

其他：

1. linux系统
2. gpu单张V100-SXM2-32GB
3. python=3.8 torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1

[Facico]

可以看到我们的generate代码中是有按照"### Response:"截取的操作的，这是对输出形式的后处理。

因为我们训练的时候也是有相关的形式的，你这个问题我可以理解为训练的还不够好的问题，毕竟他前面还是能做出正常回复的。我可以给出下面建议：
1、做出相应的后处理
2、将repetition_penalty调高

[Albort-z]

好的我试试

[chenzk1993]

@Facico 模型训练后，生成结果很多都是不完整的，生成的结果并没到最大长度，是什么原因？ 应该怎么调？ 如下面这个结果 '如何选择合适的婚礼\n', '选择合适的婚礼需要考虑婚礼主题、婚礼场所、婚礼时间、婚礼人数、婚礼预算等多个因素。首先，根据婚礼主题选择合适的婚礼场所；其次，根据婚礼人数选择合适的'

[Facico]

@chenzk1993 如果生成的是中文，因为中文编码的问题（有些中文会占3个token，见这个issue），max_new_tokens可能要设置得再长一点

[Albort-z]

@Facico 将repetition_penalty调高后还是会带出“### Instruction:”，我看了下generate.py，可能是模型没理解那个prompt。改用30w条数据跑了下基本能出效果了。
至于后处理，后面真正效果差不多了会做后处理，这个issue是对带出Instruction比较意外。
感谢回复