微软亚洲研究院董力博士访问实验室

2019年6月19日，应实验室孙乐研究员和韩先培研究员邀请，微软亚洲研究院董力博士到访实验室，为实验室师生员工带来了一场题为《UNILM: Unified Language Model Pre-Training for Natural Language Understanding and Generation》的学术报告。

董力博士的报告围绕统一的预训练模型展开，首先梳理了预训练语言模型的发展并分析了其优势，然后介绍了其团队的最新工作—— UNILM。 UNILM是一种统一建模、统一预训练的新框架，可以应用到不同的自然语言理解（Natural Language Understanding， NLU）和自然语言生成（Natural Language Generation， NLG）等任务之中。统一建模是指使用共享的 Transformer 网络，并通过不同的自注意力掩码（Self-Attention Mask）来控制模型使用的上下文信息。在此基础上，UNILM将单向语言模型、双向语言模型和序列到序列预测模型等不同预训练目标函数进行统一。在完成预训练后，UNILM可以通过微调的方式，应用到不同的下游任务中。

报告结束后，董力博士同与会的师生积极互动，针对预训练语言模型及其发展等相关问题进行了深入交流。