复旦大学张奇教授应邀到访中文信息处理实验室并作学术报告

2021年4月13日下午，应实验室孙乐研究员和韩先培研究员的邀请，复旦大学张奇教授到访实验室，为实验室师生做了题为“模型鲁棒性分析与评测”的学术报告。

张奇老师现任复旦大学计算机科学技术学院教授、博士生导师。主要研究方向是自然语言处理，信息检索和数据密集型计算，共发表学术论文70余篇。

近年来，随着深度学习以及预训练方法的发展，深度学习模型在几乎全部自然语言处理任务中都取得了非常好的效果，在包括阅读理解在内的很多任务的标准评测集合上达到了超越人类的准确性。然而在实际应用中，很多模型的效果却大打折扣。近年来很多相关研究表明，深度神经网络模型在仅仅添加了很小的扰动的样本上，其预测效果也很可能大幅度下降。模型鲁棒性的研究也因此受到越来越多的关注。在本次报告中，张奇老师针对模型的鲁棒性、可解释性以及如何评估模型的鲁棒性三个方面进行了讲解。

尽管目前已经有一些针对NLP任务的模型鲁棒性工作，但它们大多只针对单个NLP任务，同时只有少量的数据变形方法，缺乏系统性的工具集合。针对这一问题，张老师课题组展开了大规模的鲁棒性评测工作，开发了面向自然语言处理的多语言鲁棒性评测平台TextFlint。

利用 TextFlint，张老师课题组对包括分词、词性标注、句法分析、命名实体识别等在内的自然语言处理任务的约100个模型进行了复现和验证。其他领域的测评结果也显示，现有算法在新的测评数据集上的表现都较原始结果有较大幅度下降。从以上结果可以看出，目前绝大多数模型的鲁棒性都亟待提升。

张老师从鲁棒性出发，介绍了课题组的研究工作，并对未来NLP领域的发展进行展望。报告结束后，张奇老师与实验室师生就自然语言处理领域未来发展和科研经验展开了热烈讨论。

撰稿：王怡然

责任编辑：刘汇丹