北京师范大学邬霞教授在实验室进行学术报告

20231228日上午,北京师范大学邬霞教授在中文信息处理实验室应邀发表了题为《类脑视觉智能:原理与方法》的专题报告

邬霞老师是北京师范大学人工智能学院教授、博士生导师,CCF高级会员,国家自然科学基金杰出青年和优秀青年基金、吴文俊人工智能自然科学一等奖、教育部自然科学二等奖、茅以升北京青年科技奖获得者。主要研究方向为脑信号智能分析、类脑算法等。近年来,主持承担国家自然科学基金重点项目、国家重点研发计划等项目十余项,以第一/通讯作者在IEEE TNNLS、IEEE TKDE、IEEE TAC、NeuroImage、Medical Image Analysis、JBHI、IPMI、MICCAI等国内外重要学术期刊/会议发表论文100余篇。

 

 

报告中,邬霞教授首先为大家介绍了类脑视觉智能相关原理。人脑具备对图片和视频的快速高效理解和生成能力,例如人接触到图像或视频之后可以生成神经响应,反之也可以使用技术手段从神经响应的信号中重建图片或视频。同时,人脑中也存在不同的视觉加工通路,包括腹侧通路,主要负责物体识别和决策,以及背侧通路,负责感知空间位置和运动。此外,有的研究发现卷积神经网络(CNN) 的前几层和腹侧通路类似,这为算法可解释性提供了基础。

随后,邬霞教授从功能和神经信号数据两个层面介绍了类脑视觉方法。在功能层面,人脑在进行视觉加工的时候注意力按顺序依次探索少量感兴趣的区域,有的研究便受此启发改进了强化学习模型。此外,人类视觉中还存在模仿机制,即观察他人行为并将其映射到自己身上,这也促使了一些基于模仿强化学习模型的提出。在神经信号数据上,前沿的研究使用EEG和磁共振数据结合diffusion model等方法重建了高分辨率的图像,并取得了显著成效。报告的后半部分,邬霞教授介绍了多模态识别的脑机制。她和她的团队结合听觉和视觉的跨模态增强和神经同步机制,实现了两种模态之间的信息交流和传递。他们通过模拟人脑中不同模态的神经元,构建了神经网络中的多样性神经元,并引入了新的连接约束。上述模型在RAVDESS数据集达到了99.63%的准确率。

最后,邬霞教授和到场的实验室师生就人脑和大语言模型中的可解释性、二者之间的异同和模仿人脑的神经网络等内容进行了广泛的交流。

2024-01-24T13:14:59+00:00