清华大学计算机系刘华平副教授到访实验室并作报告

2021年11月14日下午两点，应实验室孙乐研究员的邀请，清华大学计算机系刘华平副教授到访实验室，并进行了关于“多模态机器人主动感知”的报告。

刘华平老师是清华大学计算机科学与技术系博士生导师，中国人工智能学会理事，国家杰出青年科学基金获得者。主要研究方向为智能机器人的多模态感知、学习与控制技术。担任IEEE Trans. on Cybernetics、IEEE Trans. on Automation Science and Engineering等国际期刊的Associate Editor。担任机器人领域知名国际会议ICRA和IROS的Associate Editor，Robotics Sciences and Systems(RSS)的领域主席（2018-2019，2021）和程序委员会委员（2016），IJCAI和AAAI的程序委员会委员。获IEEE 仪器与测量协会（IMS）颁发的Andy Chi Best Paper Award（2017）。

智能机器人区别于工业自动化装备的一个重要特点在于其感知的主动性。主动感知是智能机器人获取环境信息的重要方式。在主动感知模式下，机器人可以通过控制技术提升感知效能，并能进一步充分挖掘多模态信息的关联。此外，机器人在控制过程中不断与环境交互，得到的信息用于增强学习能力，实现机器人的长期学习。本次报告重点介绍了机器人多模态主动感知技术的发展现状、相关的研究进展，以及利用强化学习技术实现的多模态主动感知系统。

刘华平老师首先整体介绍了多模态感知下的各个领域，以及多模态主动感知研究的重要性和挑战：1） 视-听-触觉多模态数据具有不同的表示形式和感知范围。2） 视-听-触觉多模态数据不具有“一一对应”的配对特性。3）“传感”、“感知”和“动作”回路的高度非线性耦合。

随后刘华平老师详细介绍其团队在了不同模态中的主动感知研究与进展。在视觉领域，结合计算机视觉技术研究了主动目标检测；在语言领域，结合自然语言处理技术，研究了主动场景理解，该技术在真实场景下的问答以及盲人辅助等场景都有重要的应用；在触觉领域，研究了视觉引导的主动触觉识别；在听觉领域，进行了主动听觉识别的前沿研究。

此外，刘华平老师团队在多模态融合感知方面也取得了诸多进展，例如针对视-听-触异构多模态的“弱匹配”特性，建立了机器人多模态目标识别的联合稀疏编码方法。在跨模态检索，跨模态生成，跨模态持续学习等领域也都有优秀的成果产出。

刘华平老师的精彩报告引发了实验室师生的认真思考和热烈讨论，大家就触觉传感器的现状和发展挑战，以及运动和感知的关系等方面进行了进一步的深度交流讨论。

撰稿：曹博希

责任编辑：刘汇丹