Chinese-Vicuna checkpoint-11600的中英文对照效果

[grantchenhuarong]

问：辽宁周边有哪几个国家？
答：辽宁周边有中国、韩国、俄罗斯、挪威等国家。
问：Which countries around Liaoning province?
答：The countries around Liaoning province include North Korea, South Korea, Japan, and Russia.

问：中国西藏周边有几个国家？
答：中国西藏周边有多个国家，包括俄罗斯、印度、巴基斯坦、伊朗、阿富汗、孟加拉国等。
问：Which countries are around Tibet in China?
答：The countries surrounding Tibet in China are Bhutan, India, Myanmar, Nepal, and Pakistan.

问：地球上的七大洲、四大洋包括哪些？
答：地球上的七大洲包括亚洲、非洲、南美洲、北美洲、澳大利亚、加拿大和英格兰。
问：七大洲、四大洋包括哪些？
答：七大洲包括北美洲、南美洲、非洲、亚洲、澳大利亚、新西兰和英格兰。四大洋包括太平洋、南海、中海和北海。
问：What are seven continents and four oceans?
答：The seven continents are Africa, Antarctica, Asia, Australia, Europe, North America, and South America. The four oceans are the Arctic Ocean, Atlantic Ocean, Indian Ocean, and Pacific Ocean.

问：小明的妈妈有三个孩子，大的名字是大毛，老二名字是二毛，那另外一个孩子是什么名字？
答：小明的妈妈有三个孩子，大的名字是大毛，老二名字是二毛，那另外一个孩子是小毛。
问：Xiaoming's mother have three sons, the older one's name is BigMao, the second one's name is MiddleMao.What about the third one?
答：The third son's name is LittleMao.

结论：英文的知识储备丰富程度，远大于中文。

未来方向：是否真必须基于我们自己中文世界的知识语料，训练出自己真正的底层大语料模型，才能构建对等的应用？

[Facico]

你可以用checkpoint-final试一下，llama本来塞的中文知识就不多，英文肯定比中文强，同时还有中文编码的问题，见这个issue

[grantchenhuarong]

不知道怎么贴图片上来哈，我做了个简要的对比，比较了checkpoint-11600,checkpoint-11800(直接用项目的例子、那十条sample数据简单跑出来的)、checkpoint-final、Chinese-Vicuna-lora-7b-3epoch-belle-and-guanaco四个模型的能力。

确实可能是11800训练的量太少，反而把原有的能力给下降了。每个问题的回答后边都带了 Instruction回来。例如：
问：世界上最长的河流是？
答：The longest river in the world is the Nile River.

Instruction:

谢谢你。

其它三个都没有这种情况出现，而且推理的性能也都比11800快至少一倍以上。

[Facico]

你可以参考我们医学问答的结果，我们有对比训练完垂料领域之后是否还保留着其他领域的能力，目前第三种训练方式是保留的最多的，但都不可避免的会损失原来的能力。
要保留其他能力，你可以参考我在这个issue给的建议

[dizhenx]

第三种训练方式是指finetune_others_continue.sh吗

[Facico]

@dizhenx 在额外的数据上是的