北京师范大学邬霞教授在实验室进行学术报告

2023年12月28日上午，北京师范大学邬霞教授在中文信息处理实验室应邀发表了题为《类脑视觉智能：原理与方法》的专题报告。

邬霞老师是北京师范大学人工智能学院教授、博士生导师，CCF高级会员，国家自然科学基金杰出青年和优秀青年基金、吴文俊人工智能自然科学一等奖、教育部自然科学二等奖、茅以升北京青年科技奖获得者。主要研究方向为脑信号智能分析、类脑算法等。近年来，主持承担国家自然科学基金重点项目、国家重点研发计划等项目十余项，以第一/通讯作者在IEEE TNNLS、IEEE TKDE、IEEE TAC、NeuroImage、Medical Image Analysis、JBHI、IPMI、MICCAI等国内外重要学术期刊/会议发表论文100余篇。

报告中，邬霞教授首先为大家介绍了类脑视觉智能相关原理。人脑具备对图片和视频的快速高效理解和生成能力，例如人接触到图像或视频之后可以生成神经响应，反之也可以使用技术手段从神经响应的信号中重建图片或视频。同时，人脑中也存在不同的视觉加工通路，包括腹侧通路，主要负责物体识别和决策，以及背侧通路，负责感知空间位置和运动。此外，有的研究发现卷积神经网络（CNN） 的前几层和腹侧通路类似，这为算法可解释性提供了基础。

随后，邬霞教授从功能和神经信号数据两个层面介绍了类脑视觉方法。在功能层面，人脑在进行视觉加工的时候，注意力按顺序依次探索少量感兴趣的区域，有的研究便受此启发改进了强化学习模型。此外，人类视觉中还存在模仿机制，即观察他人行为并将其映射到自己身上，这也促使了一些基于模仿的强化学习模型的提出。在神经信号数据上，前沿的研究使用EEG和磁共振数据结合diffusion model等方法重建了高分辨率的图像，并取得了显著成效。报告的后半部分，邬霞教授介绍了多模态识别的脑机制。她和她的团队结合听觉和视觉的跨模态增强和神经同步机制，实现了两种模态之间的信息交流和传递。他们通过模拟人脑中不同模态的神经元，构建了神经网络中的多样性神经元，并引入了新的连接约束。上述模型在RAVDESS数据集上达到了99.63%的准确率。

最后，邬霞教授和到场的实验室师生就人脑和大语言模型中的可解释性、二者之间的异同和模仿人脑的神经网络等内容进行了广泛的交流。