对于自然言语处理从业者来说,BERT 这个概念一定不生疏,自从诞生以来,它在诸多义务检测中都有着非常优秀的表现。近日,来自哈尔滨工业大学、中山大学和微软亚洲研讨院的研讨者合作提出了一个可处理双模态数据的新预训练模型 CodeBERT,除了自然言语(NL),编程言语(PL)如今也可以停止预训练了。