关于词表扩充以及垂直应用微调的问题

[WangRongsheng]

您好，我正在做一个垂直任务的微调：https://github.com/WangRongsheng/ChatGenTitle

我目前使用的是alpaca-lora 进行微调这个下游任务，我想请问：

1. 词表扩充是只针对多语言吗？在单语言的llama模型中继续引入新的英语词表是否可以继续压榨llama模型性能？
2. 对于我这样的垂直应用，您有什么其他的建议或者看法？

谢谢您！

[ymcui]

加入词表是有一定破坏性的， 一是破坏原有分词体系，二是增加了未训练的权重。所以如果不能进行充分训练的话，可能会有比较大的问题。个人觉得如果不是特别专的领域（比如生物医学等涉及很多专业词汇的领域）没有太大必要去扩充英文词表。

[WangRongsheng]

谢谢！