加载chinese-alpaca-plus-13b模型推理异常

[ghscut]

python src/cli_demo.py --model_name_or_path xxx --prompt_template alpaca
xx是合并后的chinese-alpaca-plus-13b目录。模型确认没有问题，用chinese-alpaca官方的cpp文件推理没有问题。

[ghscut]

补充: cli_demo参数换成https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/scripts/inference/inference_hf.py这里面参数后, 结果更离谱, 如下:
gen_kwargs = {
"input_ids": input_ids,
"do_sample": True,
"top_p": 0.9,
"temperature": 0.2,
"top_k":40,
"num_beams": 1,
"max_new_tokens": 400,
"repetition_penalty": 1.3,
"logits_processor": get_logits_processor(),
"streamer": streamer
}

[hiyouga]

修改了template，重新试一下呢。

[ghscut]

ok, 已经正常，感谢~