依赖环境

Jump to bottom

embedding edited this page Feb 11, 2022 · 7 revisions

Python >= 3.6
torch >= 1.1
six >= 1.12.0
argparse
packaging
regex
如果使用混合精度，需要安装英伟达的apex
如果涉及到TensorFlow模型的转换，需要安装TensorFlow
如果在tokenizer中使用sentencepiece模型，需要安装SentencePiece
如果使用模型集成stacking，需要安装LightGBM和BayesianOptimization
如果使用全词遮罩（whole word masking）预训练，需要安装分词工具，例如jieba
如果在序列标注下游任务中使用CRF，需要安装pytorch-crf
如果使用超大模型，需要安装DeepSpeed