Monthly Archives: December 2019

大阪大学褚晨翚博士应邀做学术报告 2019年12月24日下午，应实验室孙乐研究员和韩先培研究员邀请，大阪大学褚晨翚博士到访实验室，为实验室师生作了题为“从多语言到多模态处理”的学术报告。 褚晨翚博士的报告主要聚焦于近年来极为热门的跨语言及跨模态相关的研究。在报告中，褚博士主要介绍了其课题组近期发表在顶级刊物上的三个科研成果，内容涉及多语言机器翻译、视觉问答复述以及基于知识的视觉问答等重要方向。 在多语言机器翻译上，褚博士提出了一种全新的三步骤微调学习方案，大幅度地提升了多语言机器翻译模型的性能。 在视觉问答复述上，褚博士的课题组率先提出了在视觉问答中需要考虑训练以及测试中的复述现象，提出了一个全新的视觉复述识别任务，并对该任务进行了系统性的研究。 在基于知识的视觉问答上，褚博士的课题组构造了一个全新的视觉问答数据，该数据需要综合各种不同的背景知识进行推理，从而能够很好地衡量模型基于知识推理的能力。 报告结束后，褚博士与实验室师生进行了热烈的互动，并对多模态学习的未来发展方向进行了展望。褚博士凭借多年来跨语言学习以及多模态学习领域的深厚积累，为大家带来非常具有启发意义的报告，使得大家获益良多。   责任编辑：马龙龙 编辑：林鸿宇      

浙江大学丁鼐研究员应邀做学术报告 2019年12月12日下午，应实验室孙乐研究员和韩先培研究员邀请，浙江大学生物医学工程与仪器科学学院丁鼐研究员，为实验室师生作了题为“层级语言结构的认知神经加工”的学术报告。 丁鼐老师首先通过一系列实验向大家介绍了大脑如何编码语音中不同层级的语言单元——比如音节、词、短语和语句。这些实验主要建模语言特征与脑信号之间的关系，实验结果显示不同时间尺度的神经振荡表征不同大小的语言单元，这也说明了大脑构建了多层级的语言表征。 随后丁鼐老师介绍了注意力如何影响大脑对不同大小语言单元的编码。实验发现高级语言结构加工更依赖于注意力，而且句子聆听过程中的注意焦点可以调节大脑响应。 报告结束后，实验室老师和多位同学与丁鼐老师针对人与计算机进行阅读理解时注意力的差异、大脑中词汇表征形式等问题进行了深入交流。 责任编辑：马龙龙 编辑：陆垚杰    

阿里达摩院陈博兴博士应邀做学术报告 2019年11月29日下午，应实验室孙乐研究员和韩先培研究员邀请，阿里巴巴达摩院机器智能技术实验室陈博兴博士到访实验室，为实验室师生作了题为“语音翻译的技术及其应用”的学术报告。 陈老师的报告主要介绍了阿里巴巴集团近年来在语音翻译方面的相关工作。从主要挑战、技术策略以及实际应用等多个方面介绍了阿里巴巴公司在语音翻译方面的研究及落地情况。 首先，陈老师简单回顾了在语音翻译方面的两个主要的技术路线：级联式以及端到端的方法。虽然近年来端到端的方法得到的广泛的关注，但因其对于数据量的要求较高，阿里巴巴公司目前仍然采用级联式的语音翻译方案。 接下来，陈老师总结了在级联式语音翻译中的主要挑战：糟糕的翻译输入（主要来自于语音错误、断句错误、不通顺、非正式语言），缺少相关的标注语料（缺少非正式语言的平行语料等）以及在MT任务上的一些传统挑战。 针对上述的一些重要挑战，陈老师分别详细地介绍了阿里巴巴公司在级联式方法的翻译输入以及翻译过程上的一些相关工作。    比如在语音识别错误纠正上，特别是中文的人称代词（他/她/它）上的纠正工作。 使用noisy training加入Bert fine-tuning手段的Disfluency Detection。 由于语音识别结果存在口语化的情况，为了将其转为书面形式，陈老师团队采用的基于规则和序列到序列两种方案来进行Inverse text normalization。 由于现实中的大量标注语料都是正式文本而缺少非正式的文本语料，为了能够得到更多的非正式文本，使用的领域内的单语言语料构造的非正式文本平行语料。 陈老师进一步介绍了使用code-switching训练方法并利用多标签的占位符信息进行有约束的机器翻译，同时介绍了该方法可以更好地帮助阿里巴巴避免国际业务的纠纷。 最后，陈老师总结了在级联式语音翻译系统中，级联系统的每一个模块都可以被提升，在语音翻译中的大部分问题都可以看作是序列到序列的问题。通过针对级联式语音翻译任务的主要挑战的多个层面的改进，阿里巴巴公司的语音翻译模块的性能得到了较为显著的提升。 报告结束后，陈老师与实验室师生进行了热烈的互动，探讨了针对语音翻译系统的几个重要问题进行了探讨。陈老师还通过他的亲身经历，分享了在高校、研究所以及企业三个不同工作环境下的感悟，让大家颇多受益。 编辑：颜令勇 责任编辑：马龙龙