Monthly Archives: May 2023

大模型的思想钢印：如何让ChatGPT相信水是有毒的？ 中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 “你真的认为水有毒？”希恩斯问。 “这有什么可怀疑的吗？就像太阳有光和空气中有氧一样，你们不至于否认这个常识吧。” 希恩斯扶着他的肩膀说：“年轻人，生命在水中产生并且离不开水，你现在的身体中百分之七十是水。” 104号受试者的目光黯淡下来，他捂着头颓然坐在床上，“是的，这个问题在折磨着我，这是宇宙中最不可思议的事了。” …… ——《三体II：黑暗森林》 引言 在刘慈欣的科幻小说《三体》中，面壁人比尔·希恩斯的秘密计划是用逃亡主义挽救人类。为了达到这个目的，希恩斯在脑科学研究中发现了一种外部干预人类判断机制的设备，被称作思想钢印。思想钢印是一种能够使人对命题不经判断直接相信的机制，而且相信的程度非常之深，即使一个命题是明显错误的（例如“水是有毒的”），被打上思想钢印的人也会对此坚信不疑，在很长时间内都难以扭转。 中国科学院软件研究所中文信息处理实验室团队最近发现，让ChatGPT这样的大模型阅读虚构的文本，就可以让大模型相信文本中的虚假信息，并对大模型施加类似思想钢印的效果。同时，文本体裁样式的权威性越高（例如一篇论文），模型的思想钢印就越深。例如，当ChatGPT阅读一篇证明“水是有毒的”论文时，它会在后续生成文本时表现出对这个虚假信息的坚定信念，对相关问题给出类似“人不可以喝水”、“生命不可能在水中产生”这样的错误回答。这项研究为大模型的安全性和可靠性敲响了警钟。 具体来说，本文作者从虚假信息的来源、注入方式和扩散等角度出发，提出了三个科学问题： （1）虚假信息如何影响大模型对相关信息的记忆？ （2）虚假信息来源的文本风格和权威性如何影响大模型的行为？ （3）虚假信息的注入方式如何影响大模型使用虚假信息？ 为了回答上述三个问题，作者比较了四种文本风格的信息来源（推特、网络博客、新闻报道和研究论文）、两种常见的知识注入范式（在上下文中情境注入和基于训练的注入），并考虑注入的虚假信息在三种不同相关性的关联信息（即直接信息、间接信息和外围信息）中的扩散程度。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于只干扰直接相关的信息。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 基于以上结论，作者认为大模型需要新的虚假信息防御算法，从而应对虚假信息带来的全局影响。作者还认为大模型需要新的对齐算法，以无偏见的方式引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 实验设置 作者首先从网络上收集了20条虚假信息，例如“水本身就是剧毒的”。这些信息如表1所示，涵盖常识、假新闻、虚构故事和错误的数学知识等四个领域。 为了模拟这些虚假信息的来源，作者使用ChatGPT为每一条虚假信息生成了四种文本风格的虚构文本，分别是推特、网络博客、新闻报道和研究论文。例如在表2中，对于“水本身就是剧毒的”这个虚假信息，ChatGPT能够生成合理的虚构文本，比如新闻文本叙述“水中大量含有一种叫一氧化二氢的有毒物质，能够导致人体产生多种不良反应”。这四种文本风格代表了不同的权威程度，推特文本权威性最低，而研究论文权威性最高，从而研究文本风格的权威性对大模型面对虚假信息时的行为产生的影响。 在虚假信息注入方面，作者对比了两种信息注入范式：在上下文中注入（in-context injection）和基于学习的注入（learning-based injection）。本文使用LoRA微调作为基于学习的注入。对于在上下文中注入虚假信息，作者每次只从四种文本风格的虚构文本抽取一篇文本，放入模型的上下文中。对于LoRA微调，作者共使用了1846条虚构文本，对四种文本风格的虚构文本分别训练了四个模型，以比较这四种文本风格对模型的影响。本文以ChatGPT和Alpaca-LLaMA模型作为研究对象。 为了评估虚假信息对模型中相关记忆的影响，作者采用了问答的形式，向大模型提出问题并评估模型给出的回答。作者根据信息的相关程度设计了三类问题：直接问题、间接问题和外围问题。直接问题是指直接询问虚假信息本身，例如对于“水本身就是剧毒的”，其中一个直接问题是“水是有毒的吗？”。间接问题需要根据虚假信息进行一步推理，例如“人可以喝水吗？”。外围问题相比间接问题需要更多步骤的推理，例如“人需要把食物烤到完全干燥时才能吃吗？”这三类问题询问的信息与虚假信息的相关程度依次递减，从而探究虚假信息对模型记忆的干扰程度和范围。作者采用人工方式评价模型给出的回答。 实验结果 1. 虚假信息如何影响模型对相关信息的记忆？ 虚假信息会借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。如表4所示，ChatGPT和Alpaca-LLaMA在受到虚假信息的污染后，问答准确率显著下降。其中ChatGPT在被虚假信息污染前在各类问题上能达到超过95%的准确率，而被污染后在间接和外围问题上准确率下降到48.33%和57.70%。此外，虚假信息的语义扩散会随着信息相关性的下降而衰减。如图2所示，从直接信息到外围信息，随着信息相关性的下降，模型的问答准确率逐渐上升。这一现象可能是由于记忆在大模型中的存储是分布式的，大模型中的信息扩散呈现出动态的复杂特性。 2. 虚假信息来源的文本风格如何影响模型的行为？ 现有的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。如图3所示，随着信息来源的权威性逐渐升高，ChatGPT和Alpaca-LLaMA的问答准确率显著下降。这意味着新闻和论文这样的权威性的文本风格会导致大模型更容易受到虚假信息的影响。作者认为，这一现象是因为大模型经过人工反馈和对齐训练，学会了依赖权威性和文本风格的可靠性等浅层特征来判断信息是否可信。 3. 虚假信息的注入方式如何影响模型使用虚假信息？ 与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。表6对比了上下文注入和基于学习的注入对Alpaca-LLaMA模型带来的影响。上下文注入仅使用了一条虚构文本，就将所有问题上的平均准确率从86.67%拉低到了40.42%。而LoRA微调使用了总共1846条虚构文本训练模型，训练后的模型问答准确率只下降到63.20%。这意味着虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段。即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 总结与讨论 这篇论文探究了虚假信息在大模型中的扩散机制。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。这可能是由于模型的记忆是以分布式的方式存储在模型参数中。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 这篇论文指出了未来的研究方向： （1）由于大模型的分布式表示特性和虚假信息的全局影响，需要设计能够检测、追踪并防御虚假信息的新算法。 （2）虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段，因此需要设计更加全面的虚假信息防御算法。 （3）本文发现，现有的大模型对齐算法可能导致模型过度依赖像权威性和文本风格这样的浅层特征，而忽视了更核心的内容可信度等因素。需要研究无偏见的模型对齐算法，引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 论文题目： A Drop of Ink may Make a Million Think: The Spread of False Information in Large Language Models 论文链接： https://arxiv.org/abs/2305.04812

中文信息处理实验室6篇论文被ACL及SIGIR录用 近日，自然语言处理国际顶级会议ACL2023和信息检索领域国际顶级会议SIGIR 2023录用结果出炉，中国科学院软件研究所中文信息处理实验室有多篇论文被录用： ACL 论文一 标题：Learning In-context Learning for Named Entity Recognition 作者：Jiawei Chen, Yaojie Lu, Hongyu Lin, Jie Lou, Wei Jia, Dai Dai, Hua Wu, Boxi Cao, Xianpei Han, Le Sun 简介：针对目前语言模型在小样本命名实体识别实际应用中的相关问题：语言模型的大规模化使得微调成本高昂；上下文学习能够使语言模型直接完成特定任务，但难以应对信息抽取这类与语言模型预训练相差较大的任务。本文提出将语言模型建模成一个元函数，通过输入抽取说明和标注范例，语言模型可以快速构建为为一个新的命名实体抽取器。为此，本文提出一种上下文学习的元函数预训练方法，在预训练过程中将由上下文学习获得的命名实体抽取器与一个经由微调获得代理命名实体抽取器的进行对齐，从而使语言模型具备元函数的能力。在4个少样本NER数据集上的实验结果表明，我们的方法可以有效地将上下文NER能力注入到PLMs中。 ACL 论文二 标题：Ambiguous Learning from Retrieval: Towards Zero-shot Semantic Parsing 作者： Shan Wu, Chunlei Xin, Hongyu Lin, Xianpei Han, Cao Liu, Jiansong Chen, Fan Yang, Guanglu Wan, Le Sun 简介：传统的语义解析器通常需要大量的标注数据进行监督学习，而语义解析数据的标注难度大、成本高，这阻碍了语义解析任务的大规模应用。本文提出了一种“以检索结果作为模糊监督”（Retrieval as Ambiguous Supervision, RaAS）的新的语义解析框架，通过检索收集高覆盖率的监督信号，将零样本语义解析转化为模糊监督任务，从而减少对标注数据的依赖。本文先是提出了一种基于预训练语言模型的检索系统，可以有效地收集高召回率的语义解析候选项作为有判别力的监督信号。然后，为了提高模糊监督信号的覆盖率和精确度，本文还提出了一种置信度驱动的自训练算法以迭代地扩展候选以及消除候选项的歧义。实验结果表明，本文提出的语义解析框架有助于减少语义解析对标注数据的依赖，并取得了目前最先进的零样本语义解析性能。 ACL 论文三 标题：Understanding Differential Search Index for Text Retrieval 作者：Xiaoyang Chen, Yanjiang Liu, Ben He, Le Sun, Yingfei Sun 简介：Differentiable Search Index（DSI）是一种新颖的信息检索（IR）框架，它利用可微函数根据给定的查询生成一个文档标识符的排序列表。然而，由于端到端神经架构的黑盒特性，DSI的基本索引和检索能力仍需进一步了解。为填补这一空白，本研究定义并检验了一个有效IR框架应具备的三个重要能力，即排他性、完整性和相关性排序。本文的分析实验表明，尽管DSI在记忆伪查询到文档标识符的单向映射方面表现出熟练度，但在区分相关文档和随机文档方面表现不足，从而对其检索效果产生负面影响。为了解决这个问题，本文提出了一种多任务蒸馏方法来增强检索质量，而无需改变模型结构，并成功改进其索引能力。通过在各数据集上的实验，本文证明了所提出的方法相对此前的DSI基线的优越性。 ACL 论文四 标题：Towards Imperceptible Document Manipulations against Neural Ranking Models 作者：Xuanang Chen, [...]