Skip to content

下游任务数据集

embedding edited this page Feb 27, 2022 · 26 revisions

CLUE 数据集

CLUE 是一个中文语言理解测评基准,包括分类、命名实体识别和机器阅读理解任务。CLUE中的数据集为JSON格式。对于分类和命名实体识别数据集,我们将JSON格式转换为TSV格式,以便UER可以直接加载它们;对于机器阅读理解数据集,我们保留原始格式,并将数据集预处理相关代码放在项目中。

分类:

数据集 链接or项目中路径
TNEWS https://share.weiyun.com/maExfIeO
CSL https://share.weiyun.com/LftIGlIT
CMNLI https://share.weiyun.com/hn3kTeKm
OCNLI https://share.weiyun.com/3DlKxB3q
AFQMC https://share.weiyun.com/CdlEKMON
IFLYTEK https://share.weiyun.com/ldiLjnZJ
CLUEWSC2020 https://share.weiyun.com/RLL1ShBi

机器阅读理解:

数据集 链接or项目中路径
CMRC2018 https://share.weiyun.com/p3Y9INyC
C3 ./datasets/c3
ChID https://share.weiyun.com/Mix4q2ns

命名实体识别:

数据集 链接or项目中路径
CLUENER2020 https://share.weiyun.com/smSMtLkn

百度 ERNIE

ERNIE1.0提供了5个中文数据集,并在这些数据集上测试ERNIE的效果。

数据集 链接or项目中路径
ChnSentiCorp ./datasets/chnsenticorp
LCQMC https://share.weiyun.com/5Fmf2SZ
XNLI https://share.weiyun.com/mcd8EApl
MSRA-NER ./datasets/msra_ner
NLPCC-DBQA https://share.weiyun.com/5HJMbih

竞赛数据集

数据集 链接or项目中路径
SMP2020微博情绪分类技术评测 ./datasets/smp2020-ewect
SMP2019中文隐式情感分析评测 https://share.weiyun.com/MgHL8QSI
Clone this wiki locally