BERT Pretraining

记录BERT模型复现工作，后续会添加BERT在其他下游任务的实现

项目参考https://github.com/moon-hotel/BertWithPretrained

项目内容包括

• BERT模型复现
• BERT实现MLM和NSP预训练任务
• ...

文件结构

• model目录下为BERT模型代码
• data目录下保存训练数据
• utils保存工具类的实现

环境

Python版本3.6，其他相关package信息如下

torch==1.5.0
torchtext==0.6.0
torchvision==0.6.0
transformers==4.5.1
numpy==1.19.5
pandas==1.1.5
scikit-learn==0.24.0
tqdm==4.61.0

使用方式

#这部分等代码完善再写