Monthly Archives: June 2019

加拿大蒙特利尔大学聂建云教授、江西师范大学王明文教授与左家莉副教授访问实验室 2019年6月24日上午，应实验室孙乐研究员的邀请，加拿大蒙特利尔大学聂建云教授以及江西师范大学的王明文教授与左家莉副教授访问实验室。 聂建云老师是加拿大蒙特利尔大学教授，他在自然语言处理和信息检索领域深耕多年，主要研究领域包括信息检索模型、跨语言信息检索、Query扩展、Query推荐、Query理解、查询日志利用、情感分析等等。聂建云教授在IR和NLP领域的期刊和国际会议上发表了200多篇论文，他是多个国际期刊的编委(e.g. Journal of information retrieval)，并作为程序委员会成员参与了IR和NLP领域的很多国际会议主会的组织工作。他是SIGIR 2011的大会主席，是SIGIR 2019的程序委员会主席。 聂建云教授跟大家分享了其研究团队即将在第42届ACM SIGIR（SIGIR 2019）上发表的在“关键词抽取”方面的最新研究成果《DivGraphPointer: A Graph Pointer Network for Extracting Diverse keyphrases》。 聂建云教授首先回顾了在关键词抽取(keyphrase extraction)在传统无监督学习方法和有监督学习方法的特点，并介绍了他所在研究团队利用图神经元网络来捕捉、编码文档级别的词语关联的最新方法，相比于非图神经元网络的方法，该方法在科学论文关键词生成数据集（Kp20k）上得到了state-of-the-art的结果。 报告结束后，聂建云教授同参加报告的师生热烈互动，解答大家的学术问题并分享了关于当前IR领域的前沿问题的思考，大家受益匪浅。 附《DivGraphPointer: A Graph Pointer Network for Extracting Diverse keyphrases》内容摘要：Keyphrase extraction from documents is useful to a variety of applications such as information retrieval and document summarization. We present an end-to-end method called DivGraphPointer for extracting a set of diversified keyphrases from a document. DivGraphPointer combines the advantages of traditional graph-based ranking methods and recent neural network-based approaches. Specifically, given a document, a word graph is constructed from the document based on word proximity and is encoded with graph [...]

微软亚洲研究院董力博士访问实验室 2019年6月19日，应实验室孙乐研究员和韩先培研究员邀请，微软亚洲研究院董力博士到访实验室，为实验室师生员工带来了一场题为《UNILM: Unified Language Model Pre-Training for Natural Language Understanding and Generation》的学术报告。 董力博士的报告围绕统一的预训练模型展开，首先梳理了预训练语言模型的发展并分析了其优势，然后介绍了其团队的最新工作—— UNILM。 UNILM是一种统一建模、统一预训练的新框架，可以应用到不同的自然语言理解（Natural Language Understanding， NLU）和自然语言生成（Natural Language Generation， NLG）等任务之中。统一建模是指使用共享的 Transformer 网络，并通过不同的自注意力掩码（Self-Attention Mask）来控制模型使用的上下文信息。在此基础上，UNILM将单向语言模型、双向语言模型和序列到序列预测模型等不同预训练目标函数进行统一。在完成预训练后，UNILM可以通过微调的方式，应用到不同的下游任务中。 报告结束后，董力博士同与会的师生积极互动，针对预训练语言模型及其发展等相关问题进行了深入交流。      

清华大学黄民烈副教授应邀做学术报告 2019年6月6日，应实验室孙乐研究员和韩先培研究员邀请，清华大学计算机系智能技术与系统实验室副主任黄民烈副教授到访实验室，为实验室师生员工带来了一场题为《Controllable text generation: types, knowledge, and planning》的学术报告。 黄老师的报告围绕自然语言处理领域条件文本生成的可控性问题展开，针对目前神经语言生成方面的三个主要问题——语义、一致性和逻辑，分别从“类型”、“知识”、“逻辑”和“规划”等层面提出了相应的解决方案，并介绍了相关工作。 在“类型”层面，通过在生成模块中显式地建模词类型的分布，来精细地控制文本生成，显著提高了生成文本的质量。在“知识”层面，通过对知识图谱进行建模，并引入知识图谱中的常识知识来协助理解上下文，从而提高了对话生成的连贯性和多样性。在“逻辑”层面，通过渐近编码的方式获得每一时刻的上下文线索，最终在解码时利用这个上下文线索预测正确的事件和实体。在“规划”层面，针对目前长文本生成领域面临的挑战，通过将键值对列表与训练预料关联起来，显式地将文本地生成过程进行了分解，提高了长文本生成的连贯性和一致性。 报告最后，黄老师耐心回答了实验室师生的学术问题，会场气氛十分热烈。黄老师的报告丰富了同学们的知识结构，拓展了学术视野，让同学们受益匪浅。      

自动化所曾祥荣博士应邀做学术报告 2019年5月31日，应实验室孙乐研究员和韩先培研究员的邀请，中科院自动化所博士毕业生曾祥荣访问实验室，并做了一场题为“面向非结构化文本的关系抽取”的学术报告。 曾祥荣博士首先介绍了关系抽取任务的意义和任务分类，讲解了非结构化文本的关系抽取任务中的难点。随后介绍了在关系抽取任务上的三个工作：第一个工作介绍了如何使用强化学习的思想减轻关系抽取中远距离监督的噪音。第二个和第三个工作利用序列生成模型解决多关系抽取中的实体重叠问题。 报告结束后，曾祥荣博士同与会的师生积极互动，解答大家的学术问题并进行了学术研究方法的交流，会场气氛热烈。