Monthly Archives: 1月 2024

上海交通大学张倬胜博士应邀至实验室进行学术报告 2024年1月26日上午，上海交通大学张倬胜博士应邀在中文信息处理实验室发表了题为《大模型自主智能体的应用及安全挑战》的专题报告。 张倬胜博士是上海交通大学电子信息与电气工程学院长聘教轨助理教授，曾担任领域内重要会议LREC-COLING 2024领域主席、ICLR 2023 Tiny Papers领域主席和中国计算语言学大会CCL 2022分委会主席。入选中国中文信息学会博士学位论文激励计划，获评2023世界人工智能大会云帆奖明日之星、全球 AI 华人百强学术新星。主要研究方向为预训练语言模型、自主智能体及其安全。在TPAMI、ICLR、ACL、AAAI等顶级学术期刊/会议发表论文50余篇。Google Scholar论文被引用次数超过3000次，3篇第一作者论文入选为AAAI和COLING高影响力论文列表。研发的语言理解与推理系统在8项国际权威自然语言理解评测获得第一名。 报告中，张倬胜博士从智能机器人的未来应用畅想切入，讲述了大模型自主智能体的概念，并介绍了其具有自主性、自适应性、动态响应和自我完善等特性，以及其在现实与虚拟世界中包括系统操控、软件开发、科学发现、具身智能在内的各类场景中的应用。接着，他以Auto-UI智能手机自主智能体为例，展示了大模型自主智能体的具体应用实例，并以此工作中发现的攻击现象为引，引出了有关智能体强大能力背后潜在的安全挑战的讨论。 随后，张倬胜博士从智能体应用的流程与形式等方面具体分析了其安全风险分类和来源的复杂性，智能体本身产生的内容与行为均存在风险，同时智能体系统在用户侧、模型侧和环境侧均存在潜在的漏洞以及被攻击的风险。张倬胜博士展示了他和团队提出的“R-Judge大模型智能体行为安全评测”，旨在探测模型自身安全风险判断能力与基于外界安全反馈的判断能力上限。他们发现模型对安全风险的判断与人类表现存在较大差距，模型越大性能越好，风险描述与环境反馈是提升模型检测风险能力的有效手段，并且指令遵循能力直接影响模型性能表现。 最后，张倬胜博士从他自身的科研经历出发，与同学们分享了自己作为学生与研究者一路走来的经验，鼓励同学们保持紧迫感、信念感和包容心，坚持努力，追求极致。  

计算所沈华伟老师应邀为实验室进行学术报告 2024 年 1 月 19 日上午，应实验室孙乐研究员的邀请，计算所沈华伟研究员为实验室进行了题为 “从社会计算到社会认知计算”的学术报告。 中国科学院计算技术研究所研究员沈华伟老师，担任数据智能系统研究中心主任，中国科学院大学岗位教授，中国中文信息学会理事、社会媒体处理专委会副主任。长期从事社会计算、网络大数据分析、智能算法安全研究，在PNAS、IEEE TKDE等学术期刊和KDD、WWW等学术会议上发表论文100 余篇，三次获国际学术会议最佳论文奖励。主持国家重点研发计划项目、国家自然科学基金重点项目等科研项目10 余项。 [...]

北京师范大学邬霞教授在实验室进行学术报告 2023年12月28日上午，北京师范大学邬霞教授在中文信息处理实验室应邀发表了题为《类脑视觉智能：原理与方法》的专题报告。 邬霞老师是北京师范大学人工智能学院教授、博士生导师，CCF高级会员，国家自然科学基金杰出青年和优秀青年基金、吴文俊人工智能自然科学一等奖、教育部自然科学二等奖、茅以升北京青年科技奖获得者。主要研究方向为脑信号智能分析、类脑算法等。近年来，主持承担国家自然科学基金重点项目、国家重点研发计划等项目十余项，以第一/通讯作者在IEEE TNNLS、IEEE TKDE、IEEE TAC、NeuroImage、Medical Image Analysis、JBHI、IPMI、MICCAI等国内外重要学术期刊/会议发表论文100余篇。     报告中，邬霞教授首先为大家介绍了类脑视觉智能相关原理。人脑具备对图片和视频的快速高效理解和生成能力，例如人接触到图像或视频之后可以生成神经响应，反之也可以使用技术手段从神经响应的信号中重建图片或视频。同时，人脑中也存在不同的视觉加工通路，包括腹侧通路，主要负责物体识别和决策，以及背侧通路，负责感知空间位置和运动。此外，有的研究发现卷积神经网络（CNN） 的前几层和腹侧通路类似，这为算法可解释性提供了基础。 随后，邬霞教授从功能和神经信号数据两个层面介绍了类脑视觉方法。在功能层面，人脑在进行视觉加工的时候，注意力按顺序依次探索少量感兴趣的区域，有的研究便受此启发改进了强化学习模型。此外，人类视觉中还存在模仿机制，即观察他人行为并将其映射到自己身上，这也促使了一些基于模仿的强化学习模型的提出。在神经信号数据上，前沿的研究使用EEG和磁共振数据结合diffusion model等方法重建了高分辨率的图像，并取得了显著成效。报告的后半部分，邬霞教授介绍了多模态识别的脑机制。她和她的团队结合听觉和视觉的跨模态增强和神经同步机制，实现了两种模态之间的信息交流和传递。他们通过模拟人脑中不同模态的神经元，构建了神经网络中的多样性神经元，并引入了新的连接约束。上述模型在RAVDESS数据集上达到了99.63%的准确率。 最后，邬霞教授和到场的实验室师生就人脑和大语言模型中的可解释性、二者之间的异同和模仿人脑的神经网络等内容进行了广泛的交流。