【Github】项目名:brightmart/albert_zh:海量中文预训练ALBERT模型
一、项目简介
这是一个基于TensorFlow实现的ALiteBertForSelf – SupervisedLearningLanguageRepresentations项目。项目提供了不同版本(如TensorFlow、PyTorch和Keras)的中文ALBERT预训练模型,这些模型在参数数量、训练速度、模型效果等方面各有特点。例如albert_tiny_zh模型训练和推理速度提升约10倍,在语义相似度数据集LCQMC测试集上达到85.4%。项目还包含预训练、下游任务微调等操作的相关代码示例以及模型转换(如转换为TensorflowLite格式)和性能测试等内容。
二、核心技术
1. ALBERT模型改进:对BERT模型进行了三个主要改造。一是词嵌入向量参数的因式分解,例如将参数从O(VH)变为O(VE + EH),大大减少了词嵌入相关的参数数量;二是跨层参数共享,包括全连接层、注意力层的参数共享,显著减少参数;三是采用段落连续性任务(SOP)损失,避免使用原有的NSP任务,使模型更专注于句子间连贯性的建模。
2. 其他技术:为了扩大模型容量去掉了dropout;使用LAMB做为优化器以便用大batch_size训练;使用n – gram(uni – gram, bi – gram, tri – gram)来做遮蔽语言模型。
三、项目总结
这个项目为自然语言处理提供了多种中文预训练的ALBERT模型及其相关操作的实现。无论是预训练、下游任务的微调,还是模型的转换和部署,都有详细的代码示例和说明。如果你对这个项目感兴趣或者有任何问题、建议,欢迎在下方留言讨论。
项目地址
数据统计
数据评估
本站链氪巴士提供的brightmart/albert_zh:海量中文预训练ALBERT模型都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月6日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。
相关导航
PaddleHub是一个基于PaddlePaddle的预训练模型工具包。它包含400多个模型,涵盖图像、文本、音频、视频和跨模态等多个领域,具有容易推理和服务的特点。支持多种平台,如Linux、Windows和MacOS。其模型丰富,涉及计算机视觉、自然语言处理、语音、视频和跨模态等领域,使用简单,仅需3行代码即可对400多个AI模型进行预测,还能一行命令提供模型服务。并且该项目一直在更新,2022年8月19日发布v2.3.0版本,支持ERNIE - ViLG等,2月18日将模型发布到HuggingFace PaddlePaddle Space。所有模型开源免费,欢迎关注并加入官方群交流。