中文信息处理实验室六篇长文被ACL2021主会录用
日前,自然语言处理领域的顶级会议 ACL 2021陆续向作者发送录用通知,中国科学院软件研究所中文信息处理实验室六篇长文被主会录用。
下面是论文列表及介绍:
论文一
标题:TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction
作者:Yaojie Lu, Hongyu Lin, Jin Xu, Xianpei Han, Jialong Tang, Annan Li, Le Sun, Meng Liao, Shaoyi Chen
录用类型:长文
简介:我们提出一个序列到结构的生成范式—Text2Event,该方式可以通过文本-事件记录的粗粒度标注数据进行模型学习,直接从纯文本序列中提取结构化事件记录。具体而言,我们设计了一种用于事件抽取的序列到结构生成网络,并在推理过程中使用受限解码算法注入事件框架知识。此外,我们还设计了一种基于课程学习的训练算法帮助模型从预训练语言模型中迁移知识。实验结果表明,在有监督和迁移学习的设定下,我们所提出的方法可以仅使用记录级别标注的情况下达到与最优模型的可比性能。
论文二
标题:Element Intervention for Open Relation Extraction
作者:Fangchao Liu, Lingyong Yan, Hongyu Lin, Xianpei Han, Le Sun
录用类型:长文
简介:开放关系抽取任务在深度学习模型的推动下有了长足发展,但近期的相关工作表明,深度学习模型容易受关系数据集中存在的伪相关线索干扰,从而导致模型性能不稳定。为此,我们从因果结构模型的角度对开放关系抽取的过程进行建模,利用因果介入的方式,分别提出了针对实体对和上下文的介入方法,在T-REx的两个无监督关系抽取数据集上取得了目前最好的性能。
论文三
标题:From Discourse to Narrative: Knowledge Projection for Event Relation Extraction
作者:Jialong Tang, Hongyu Lin, Meng Liao, Yaojie Lu, Xianpei Han, Le Sun, Weijian Xie, Jin Xu
录用类型:长文
简介: 本工作设计了一个从语篇到事件的知识映射范式,充分利用语篇知识和事件知识之间的内在关联。具体的,本工作挖掘了:1)语篇文本和事件文本存在相似的词法和句法结构;2)语篇语义和事件语义蕴含可类推的语义关系;3)语篇关系和事件关系共享相同的粗粒度分类标准;并分别设计了词级别,语义级别和粗粒度分类级别的三个知识映射模块。内部实验表明,本工作提出的知识映射范式能够发现大量有价值的隐式事件关系,相较于从零开始训练的模型以及简单的迁移学习等框架有稳定的准确率提升。同时,外部实验表明,丰富了隐式事件关系的事件知识图谱能够更有效地提升下游自然语言理解任务。
论文四
标题:From Paraphrasing to Semantic Parsing: Unsupervised Semantic Parsing via Synchronous Semantic Decoding
作者:Shan Wu, Bo Chen, Chunlei Xin, Xianpei Han, Le Sun, Weipeng Zhang, Jiansong Chen, Fan Yang and Xunliang Cai
录用类型:长文
简介:本文通过复述模型在受限的同步文法上同步解码语义解析,利用文本生成模型的对标准句式的打分,找到得分最高的标准句式和语义表示(其空间受语法限制)。本文给出了两种不同的算法,一种以语法规则为搜索单元,一种使用词作为搜索单元。同时,为了调整复述模型以适应标准句式,本文提出适应性微调方法。在多个数据集上的实验结果表明,该方法明显优于现有的无监督方法。
论文五
标题:Knowledgeable or Educated Guess: Rethinking Masked Language Models as Factual Knowledge Bases
作者:Boxi Cao, Hongyu Lin, Xianpei Han, Le Sun, Lingyong Yan, Meng Liao, Tong Xue, Jin Xu
录用类型:长文
简介:本文系统性地研究了三种从预训练模型中抽取事实型知识的代表性范式。1) 对于Prompt-based Retrieval,我们发现Prompt会给预训练模型的预测带来严重的偏差,因而先前的评测结果无法真实反映预训练模型检索事实型知识的能力。而现有的Prompt搜索算法得到的Prompt只是更好的拟合了测试集的答案分布,而非具有更强的抽取能力。2) 对于Case-based Analogy,我们发现加入示范性的样例只能帮助预训练模型更好地识别尾实体的类别,而不能更好地抽取事实型知识。3) 对于Context-based Inference,我们发现检索得到的上下文会通过显式或者隐式地泄露答案来提供额外的信息。本文的发现揭示了预训练模型能够取得相关成就的原因和潜在的预测机制,并且有力地质疑了先前关于现有预训练模型可能作为事实型知识库的结论。这些发现对本领域的发展有着重要意义,有益于多个其他方向的未来研究。
论文六
标题:Learning De-biased Distantly Supervised NER with Biased Dictionary via Causal Intervention
作者列表:Wenkai Zhang, Hongyu Lin, Xianpei Han, Le Sun
录用类型:长文
简介:远程监督命名实体识别受到远程监督信号带偏的影响,具体来说是受到字典间偏差和字典内偏差的影响。为此,我们提出利用因果干预方法去除这两种字典偏差。首先,我们利用因果推断理论对远程监督命名实体识别过程构建结构因果模型,并基于该结构因果模型分析字典内偏差和字典间偏差的成因。针对字典内偏差,本文提出利用后门调整的方法来阻塞字典和实例之间的因果路径,从而消除字典带来的伪相关性;针对字典间偏差,本文提出利用因果不变性的正则化方法使模型学习到与字典无关的表示,提高模型鲁棒性。实验结果表明,本文提出的字典偏差去除方法在四个数据集上能够有效提升远程监督命名实体识别模型的性能。
据悉,国际计算语言学年会(ACL)是计算语言学领域历史最悠久和最具权威的学术组织-国际计算语言学协会(ACL)主办和发起的系列会议,是计算语言学/自然语言处理领域顶级的国际学术会议。会议涵盖包括语言分析、信息抽取、机器翻译与自动问答等在内的研究领域,旨在促进全球计算语言学领域的发展与学术交流。ACL 2021 将于2021年8月1日至6日在泰国曼谷举办,本届是第 59 届 ACL 大会,与第11届IJCNLP会议联合举办。
撰稿:刘汇丹、陆垚杰、刘方超、唐家龙、吴杉、曹博希、张文凯
责任编辑:刘汇丹