新浪微博张俊林博士应邀来实验室做学术报告

2019年3月1日，应实验室主任孙乐研究员的邀请，新浪微博AI Lab资深算法专家张俊林博士来访实验室，为师生带来一场题为“自然语言预训练技术及RNN/CNN/Transformer比较”的精彩学术报告。现场座无虚席，反响热烈。

张俊林博士首先介绍了NLP中的一些主要预训练技术的技术演进历程，从基础的word embedding技术到近一年来兴起的ELMO、GPT、BERT等语言模型。这些预训练语言模型采用无监督的学习算法，得以利用大规模的自然语言语料进行训练，在各类自然语言处理任务上均取得巨大突破。而作为BERT基础组件的Transformer近年来也得到广泛应用，在各项任务中均取得不少进展。然后，张俊林博士对自然语言处理中的三大特征抽取器Transformer、RNN和CNN的各自优缺点进行了对比分析。最后，张俊林博士又同大家分享了自己对近些年预训练语言模型发展趋势的展望，并详细解答了同学们提出的相关问题。