generate_quant.py脚本测试13b量化模型，效果很差，如图：

[greatewei]

generate_quant.py脚本执行量化脚本后，效果很差，如图：

我的量化过程如下：

1. 13b-lora 与 llama13b进行合并生成一个新的模型 chinese-v-13b-hf， 这个模型测试过，能够正常的交流。
2. 执行命令 python tools/llama_quant.py /data/chat/models/chinese-v-13b-hf ptb --wbits 4 --groupsize 128 --save /data/chat/models/chinese-v-13b-hf/pyllama-4b.pt 进行了模型量化，最终输出了 pyllama-4b.pt文件
3. 执行命令python tools/generate_quant.py --model_path "/data/chat/models/chinese-v-13b-hf" --quant_path "/data/chat/models/chinese-v-13b-hf/pyllama-4b.pt" --wbits 4

是不是哪个环节出了错误

Originally posted by @greatewei in #46 (comment)

[Chuge0335]

正常现象，我们使用的是pyllama的方案，4bit量化比8bit差很多。之后会考虑GPTQ-for-LLaMa的方法

[Chuge0335]

量化工具已经更新，效果请查看:https://github.com/Facico/Chinese-Vicuna/blob/master/tools/readme_zh.md