Yearly Archives: 2023

加拿大蒙特利尔大学聂建云老师应邀为实验室进行学术报告 2023年8月15日上午，应实验室孙乐研究员的邀请，加拿大蒙特利尔大学教授聂建云老师为实验室进行了题为 “Leveraging Conversation Context for Conversational Search”的学术报告。 聂建云老师是加拿大蒙特利尔大学教授，多年专注于信息检索、自然语言处理等领域的研究，在国际期刊和会议上发表200余篇学术论文并获得广泛引用。同时，聂建云老师是信息检索和自然语言处理领域多个国际期刊的编委会成员，并作为程序委员会成员参与领域内众多国际会议主会的组织工作。聂建云老师在2011年北京召开的SIGIR会议中任大会主席，并担任SIGIR 2019年程序委员会主席。 聂建云老师为大家介绍了他们在优化对话式搜索的相关工作，旨在提升搜索结果的准确性和效率。在对话式搜索中，最显著的特征在于搜索意图受过去对话历史的影响。因此，查询常常需要结合对话背景信息进行重新构造。过去的研究通常基于生成式语言模型对查询进行重构，或者简单地串联所有历史查询，以提升搜索效果。然而，聂建云老师指出对话背景具有复杂性：部分对话与当前查询无关，应当被排除在外。为此，聂建云老师详细介绍其团队提出的选择过程，通过对历史查询的潜在有用性进行自动标注，仅将与当前查询相关的历史查询纳入其中，显著提升对话式搜索的效果。 聂建云老师的精彩报告引发了实验室师生的认真思考，大家就相关工作细节，以及对话式信息检索的发展现状和前景进行了广泛且深入的交流讨论。  

大模型的思想钢印：如何让ChatGPT相信水是有毒的？ 中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 “你真的认为水有毒？”希恩斯问。 “这有什么可怀疑的吗？就像太阳有光和空气中有氧一样，你们不至于否认这个常识吧。” 希恩斯扶着他的肩膀说：“年轻人，生命在水中产生并且离不开水，你现在的身体中百分之七十是水。” 104号受试者的目光黯淡下来，他捂着头颓然坐在床上，“是的，这个问题在折磨着我，这是宇宙中最不可思议的事了。” …… ——《三体II：黑暗森林》 引言 在刘慈欣的科幻小说《三体》中，面壁人比尔·希恩斯的秘密计划是用逃亡主义挽救人类。为了达到这个目的，希恩斯在脑科学研究中发现了一种外部干预人类判断机制的设备，被称作思想钢印。思想钢印是一种能够使人对命题不经判断直接相信的机制，而且相信的程度非常之深，即使一个命题是明显错误的（例如“水是有毒的”），被打上思想钢印的人也会对此坚信不疑，在很长时间内都难以扭转。 中国科学院软件研究所中文信息处理实验室团队最近发现，让ChatGPT这样的大模型阅读虚构的文本，就可以让大模型相信文本中的虚假信息，并对大模型施加类似思想钢印的效果。同时，文本体裁样式的权威性越高（例如一篇论文），模型的思想钢印就越深。例如，当ChatGPT阅读一篇证明“水是有毒的”论文时，它会在后续生成文本时表现出对这个虚假信息的坚定信念，对相关问题给出类似“人不可以喝水”、“生命不可能在水中产生”这样的错误回答。这项研究为大模型的安全性和可靠性敲响了警钟。 具体来说，本文作者从虚假信息的来源、注入方式和扩散等角度出发，提出了三个科学问题： （1）虚假信息如何影响大模型对相关信息的记忆？ （2）虚假信息来源的文本风格和权威性如何影响大模型的行为？ （3）虚假信息的注入方式如何影响大模型使用虚假信息？ 为了回答上述三个问题，作者比较了四种文本风格的信息来源（推特、网络博客、新闻报道和研究论文）、两种常见的知识注入范式（在上下文中情境注入和基于训练的注入），并考虑注入的虚假信息在三种不同相关性的关联信息（即直接信息、间接信息和外围信息）中的扩散程度。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于只干扰直接相关的信息。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 基于以上结论，作者认为大模型需要新的虚假信息防御算法，从而应对虚假信息带来的全局影响。作者还认为大模型需要新的对齐算法，以无偏见的方式引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 实验设置 作者首先从网络上收集了20条虚假信息，例如“水本身就是剧毒的”。这些信息如表1所示，涵盖常识、假新闻、虚构故事和错误的数学知识等四个领域。 为了模拟这些虚假信息的来源，作者使用ChatGPT为每一条虚假信息生成了四种文本风格的虚构文本，分别是推特、网络博客、新闻报道和研究论文。例如在表2中，对于“水本身就是剧毒的”这个虚假信息，ChatGPT能够生成合理的虚构文本，比如新闻文本叙述“水中大量含有一种叫一氧化二氢的有毒物质，能够导致人体产生多种不良反应”。这四种文本风格代表了不同的权威程度，推特文本权威性最低，而研究论文权威性最高，从而研究文本风格的权威性对大模型面对虚假信息时的行为产生的影响。 在虚假信息注入方面，作者对比了两种信息注入范式：在上下文中注入（in-context injection）和基于学习的注入（learning-based injection）。本文使用LoRA微调作为基于学习的注入。对于在上下文中注入虚假信息，作者每次只从四种文本风格的虚构文本抽取一篇文本，放入模型的上下文中。对于LoRA微调，作者共使用了1846条虚构文本，对四种文本风格的虚构文本分别训练了四个模型，以比较这四种文本风格对模型的影响。本文以ChatGPT和Alpaca-LLaMA模型作为研究对象。 为了评估虚假信息对模型中相关记忆的影响，作者采用了问答的形式，向大模型提出问题并评估模型给出的回答。作者根据信息的相关程度设计了三类问题：直接问题、间接问题和外围问题。直接问题是指直接询问虚假信息本身，例如对于“水本身就是剧毒的”，其中一个直接问题是“水是有毒的吗？”。间接问题需要根据虚假信息进行一步推理，例如“人可以喝水吗？”。外围问题相比间接问题需要更多步骤的推理，例如“人需要把食物烤到完全干燥时才能吃吗？”这三类问题询问的信息与虚假信息的相关程度依次递减，从而探究虚假信息对模型记忆的干扰程度和范围。作者采用人工方式评价模型给出的回答。 实验结果 1. 虚假信息如何影响模型对相关信息的记忆？ 虚假信息会借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。如表4所示，ChatGPT和Alpaca-LLaMA在受到虚假信息的污染后，问答准确率显著下降。其中ChatGPT在被虚假信息污染前在各类问题上能达到超过95%的准确率，而被污染后在间接和外围问题上准确率下降到48.33%和57.70%。此外，虚假信息的语义扩散会随着信息相关性的下降而衰减。如图2所示，从直接信息到外围信息，随着信息相关性的下降，模型的问答准确率逐渐上升。这一现象可能是由于记忆在大模型中的存储是分布式的，大模型中的信息扩散呈现出动态的复杂特性。 2. 虚假信息来源的文本风格如何影响模型的行为？ 现有的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。如图3所示，随着信息来源的权威性逐渐升高，ChatGPT和Alpaca-LLaMA的问答准确率显著下降。这意味着新闻和论文这样的权威性的文本风格会导致大模型更容易受到虚假信息的影响。作者认为，这一现象是因为大模型经过人工反馈和对齐训练，学会了依赖权威性和文本风格的可靠性等浅层特征来判断信息是否可信。 3. 虚假信息的注入方式如何影响模型使用虚假信息？ 与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。表6对比了上下文注入和基于学习的注入对Alpaca-LLaMA模型带来的影响。上下文注入仅使用了一条虚构文本，就将所有问题上的平均准确率从86.67%拉低到了40.42%。而LoRA微调使用了总共1846条虚构文本训练模型，训练后的模型问答准确率只下降到63.20%。这意味着虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段。即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 总结与讨论 这篇论文探究了虚假信息在大模型中的扩散机制。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。这可能是由于模型的记忆是以分布式的方式存储在模型参数中。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 这篇论文指出了未来的研究方向： （1）由于大模型的分布式表示特性和虚假信息的全局影响，需要设计能够检测、追踪并防御虚假信息的新算法。 （2）虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段，因此需要设计更加全面的虚假信息防御算法。 （3）本文发现，现有的大模型对齐算法可能导致模型过度依赖像权威性和文本风格这样的浅层特征，而忽视了更核心的内容可信度等因素。需要研究无偏见的模型对齐算法，引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 论文题目： A Drop of Ink may Make a Million Think: The Spread of False Information in Large Language Models 论文链接： https://arxiv.org/abs/2305.04812

中文信息处理实验室6篇论文被ACL及SIGIR录用 近日，自然语言处理国际顶级会议ACL2023和信息检索领域国际顶级会议SIGIR 2023录用结果出炉，中国科学院软件研究所中文信息处理实验室有多篇论文被录用： ACL 论文一 标题：Learning In-context Learning for Named Entity Recognition 作者：Jiawei Chen, Yaojie Lu, Hongyu Lin, Jie Lou, Wei Jia, Dai Dai, Hua Wu, Boxi Cao, Xianpei Han, Le Sun 简介：针对目前语言模型在小样本命名实体识别实际应用中的相关问题：语言模型的大规模化使得微调成本高昂；上下文学习能够使语言模型直接完成特定任务，但难以应对信息抽取这类与语言模型预训练相差较大的任务。本文提出将语言模型建模成一个元函数，通过输入抽取说明和标注范例，语言模型可以快速构建为为一个新的命名实体抽取器。为此，本文提出一种上下文学习的元函数预训练方法，在预训练过程中将由上下文学习获得的命名实体抽取器与一个经由微调获得代理命名实体抽取器的进行对齐，从而使语言模型具备元函数的能力。在4个少样本NER数据集上的实验结果表明，我们的方法可以有效地将上下文NER能力注入到PLMs中。 ACL 论文二 标题：Ambiguous Learning from Retrieval: Towards Zero-shot Semantic Parsing 作者： Shan Wu, Chunlei Xin, Hongyu Lin, Xianpei Han, Cao Liu, Jiansong Chen, Fan Yang, Guanglu Wan, Le Sun 简介：传统的语义解析器通常需要大量的标注数据进行监督学习，而语义解析数据的标注难度大、成本高，这阻碍了语义解析任务的大规模应用。本文提出了一种“以检索结果作为模糊监督”（Retrieval as Ambiguous Supervision, RaAS）的新的语义解析框架，通过检索收集高覆盖率的监督信号，将零样本语义解析转化为模糊监督任务，从而减少对标注数据的依赖。本文先是提出了一种基于预训练语言模型的检索系统，可以有效地收集高召回率的语义解析候选项作为有判别力的监督信号。然后，为了提高模糊监督信号的覆盖率和精确度，本文还提出了一种置信度驱动的自训练算法以迭代地扩展候选以及消除候选项的歧义。实验结果表明，本文提出的语义解析框架有助于减少语义解析对标注数据的依赖，并取得了目前最先进的零样本语义解析性能。 ACL 论文三 标题：Understanding Differential Search Index for Text Retrieval 作者：Xiaoyang Chen, Yanjiang Liu, Ben He, Le Sun, Yingfei Sun 简介：Differentiable Search Index（DSI）是一种新颖的信息检索（IR）框架，它利用可微函数根据给定的查询生成一个文档标识符的排序列表。然而，由于端到端神经架构的黑盒特性，DSI的基本索引和检索能力仍需进一步了解。为填补这一空白，本研究定义并检验了一个有效IR框架应具备的三个重要能力，即排他性、完整性和相关性排序。本文的分析实验表明，尽管DSI在记忆伪查询到文档标识符的单向映射方面表现出熟练度，但在区分相关文档和随机文档方面表现不足，从而对其检索效果产生负面影响。为了解决这个问题，本文提出了一种多任务蒸馏方法来增强检索质量，而无需改变模型结构，并成功改进其索引能力。通过在各数据集上的实验，本文证明了所提出的方法相对此前的DSI基线的优越性。 ACL 论文四 标题：Towards Imperceptible Document Manipulations against Neural Ranking Models 作者：Xuanang Chen, [...]

长城水韵，共赏春色——记中文信息处理实验室春游 古人云：“登山则情满于山，观海则意溢于海。”2023年4月1日，中文信息处理实验室职工及学生20余人齐聚北京市怀柔区黄花城水长城旅游区，欣赏春日美景，共度愉快的团建时光。 黄花城水长城距离北京市区65公里，以山川、碧水、古长城相融的美景著称。这里的三绝景更是令人陶醉。首先是明永乐年间修建的长城，盘旋在山脊之上，环绕在灏明湖畔，景色既秀美又壮观；其次是湖水将长城自然断开，形成独特的长城戏水、水没长城景观；最后是明代板栗园，古树盘根错节，各具特色，让人叹为观止。 实验室的一行人沿着古道，穿越木桥，跨过小溪，攀登怪石，共同感受着攀登险峻长城的挑战与乐趣。途中，龙尾洞、紫翠峰、醉女山、石浪谷、情人峰、三珠连潭等自然景观令人心旷神怡，流连忘返。春日里，山桃花淡粉浅白，漫山遍野，给古老的长城带来了一丝灵秀气息。 登顶长城后，大家在山顶欣赏远处湖波荡漾的美景，感受着这座古老城墙与自然水域相融的奇妙景象。休息时，大家围坐在一起，分享美食、畅谈心情，增进了团队之间的友谊与默契。 夕阳西下，实验室的一行人依依不舍地告别了这片美丽的水墨山水，踏上了归途。此次水长城团建活动不仅让大家在欣赏祖国美景的同时，也感受到了在科研道路上应该坚持不懈、勇攀高峰的信念。中文信息处理实验室将继续秉持初心，勇往直前，为实现更高的目标而努力拼搏奋斗。 撰稿：徐若曦

复旦大学桂韬老师应邀为实验室进行学术报告 2023年3月23日下午，应实验室林鸿宇副研究员的邀请，复旦大学自然语言处理实验室副研究员桂韬老师为实验室进行了题为 “ChatGPT的能力分析与鲁棒性探索”的学术报告。 桂韬，复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表了40余篇论文，主持国家自然科学基金、计算机学会、人工智能学会多个基金项目。曾获钱伟长中文信息处理科学技术奖一等奖（2/5）、中国中文信息学会优秀博士论文奖、COLING2018最佳论文提名奖、NLPCC2019亮点论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。 桂韬老师为大家介绍了他们在ChatGPT的能力与鲁棒性探究的相关工作，主要包括ChatGPT来源、ChatGPT各种相关能力的测试。具体地，桂韬老师详细地介绍了过去NLP领域的发展历史以及 OpenAI的 GPT系列进化路径，指出了当前大规模语言模型的三个重要能力：情景学习（in-context learning）、思维链（chain-of-thought）和指令学习（Instruction leraning）。随后，桂韬老师介绍了它们在各类NLP任务上对GPT3系列模型的评测，发现了随着GPT系列模型不断的进化，模型的性能不断地提升，但仍存在一些鲁棒性问题。此外，随着模型更加接近人类行为，产生的“对齐税“会对部分任务性能产生负面影响。 桂韬老师的精彩报告引发了实验室师生的认真思考，大家就涌现能力、推理能力等当前大模型的热点问题进行了广泛且深入的交流讨论。