大模型的思想钢印：如何让ChatGPT相信水是有毒的？中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制
root 2023-05-25T15:09:16+00:00大模型的思想钢印：如何让ChatGPT相信水是有毒的？ 中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 “你真的认为水有毒？”希恩斯问。 “这有什么可怀疑的吗？就像太阳有光和空气中有氧一样，你们不至于否认这个常识吧。” 希恩斯扶着他的肩膀说：“年轻人，生命在水中产生并且离不开水，你现在的身体中百分之七十是水。” 104号受试者的目光黯淡下来，他捂着头颓然坐在床上，“是的，这个问题在折磨着我，这是宇宙中最不可思议的事了。” …… ——《三体II：黑暗森林》 引言 在刘慈欣的科幻小说《三体》中，面壁人比尔·希恩斯的秘密计划是用逃亡主义挽救人类。为了达到这个目的，希恩斯在脑科学研究中发现了一种外部干预人类判断机制的设备，被称作思想钢印。思想钢印是一种能够使人对命题不经判断直接相信的机制，而且相信的程度非常之深，即使一个命题是明显错误的（例如“水是有毒的”），被打上思想钢印的人也会对此坚信不疑，在很长时间内都难以扭转。 [...]