本项目是关于RoBERTa在中文环境下的预训练项目。由brightmart开发，用TensorFlow实现大规模中文RoBERTa预训练，也提供PyTorch预训练模型和加载方式。RoBERTa是BERT改进版，在训练任务、数据生成等多方面改进。项目包含多种层数模型，训练数据多样且给出在多种任务上与其他模型的性能对比，对NLP领域的研究和开发有重要意义。