CCKS2021中文NLP地址相关性任务-赛道三-冠军方案
团队：我的加菲鱼- wodejiafeiyu
初赛第二/复赛第一/决赛第一
19年开始，陆陆续续参加了一些比赛，拿到过一些top，比较懒一直都没分享过，这次比较幸运又拿了top1，打算分享下
分类的任务用这个框架基本都能top10，之前个人参加的《全球人工智能大赛-赛道一》和这个也差不多，只是有些具体任务的trick不同
https://tianchi.aliyun.com/competition/entrance/531901/introduction
- torch==1.6.0
- transformers=3.0.2
- nezha-base
- nezha-wwm
- macbert
- 下载预训练模型，放到文件夹user_data/model_param/pretrain_model_param/下，文件夹和模型名字一一对应
sh run.sh
- 预训练mlm中的mask策略使用ngram-mask，相比原始的动态mask，提升了预训练难度
- 标签也包含语义信息，预训练部分融入标签信息，提升预训练效果
- 混合精度预训练，损失一部分精度，提升整体的训练速度，实际测试结果精度损失不大，速度提升明显
- 对抗训练，已经是一个比较常用的trick了
- 后12层加上embedding的cls动态加权平均
- multi-sample dropout
- 推理的时候，阈值搜索
- 三折交叉验证，每折使用不同的随机数种子使用dynamic pad
- 加权平均，模型融合
| 模块 | 提分点分析 | 提升 |
|---|---|---|
| ngram-mask | 相比于单个字的遮蔽，ngram-mask加大了预训练任务的难度，从而提升效果 | 2.6个千分点 |
| 融入标签信息预训练 | 标签也含有语义信息，模型学习的更多 | 1个千分点 |
| 后12层加上embedding的cls动态加权平均+multi-sample dropout | 加权平均能增强向量的语义表征能力从而提升效果。multi-sample dropout能加速训练，增强泛化能力 | 3.3个千分点 |
| 对抗训练fgm | 生成对抗样本，对抗样本的训练，增加模型泛化能力 | 2.2个千分点 |
| 多分类阈值搜索 | 缩放系数使得f1最优 | 0.7个千分点 |
| 模型融合 | 提升模型的鲁棒性和泛化能力 | 1.5个千分点 |
| 动态pad和预训练混合精度训练和每折使用不同的随机数种子 | 提升模型训练速度，不同的随机数种子加大了模型的差异，提升融合的效果 |