AI的“随机性”挑战：它们比人类更“不随机”？

你有没有想过，人类真的能做出完全随机的选择吗？答案可能出乎你的意料。事实上，人类天生就不擅长“随机”，我们总能在看似无序的事物中发现规律，甚至在本该随机的场景中创造出模式。这种“伪随机”行为，其实是一种独特的人类特质。最近，来自康奈尔大学探讨了大语言模型（LLMs）在随机性方面的表现。他们通过一个经典的实验——生成二进制随机序列，来观察这些模型是否能像人类一样“不随机”，或者是否能真正实现“随机”。

研究结果令人惊讶。研究者发现，GPT-4和Llama-3在生成随机序列时，不仅表现出人类的偏差，甚至还加剧了这些偏差。

真随机 与 伪随机

人类有一种奇妙的天赋——发现规律。我们总能在生活中找到各种模式：在咖啡的奶泡中看到人脸，在星空里描绘出星座，甚至因为忘记穿幸运衫而觉得勒布朗·詹姆斯投篮不中是自己的错。

然而，这种对规律的敏感也让我们在面对“随机性”时变得格外笨拙。比如，当你让一个人随机选择一个1到10之间的数字时，他们大概率会选择7；或者让他们在脑海中抛硬币，结果多半是正面。这些看似随机的选择，其实背后隐藏着可预测的规律。

抛硬币实验背后的秘密

从20世纪初开始，人类对随机性的研究就从未停止。早在1913年，Fernberger就指出，人类生成随机序列的行为是一个复杂而迷人的课题。此后，无数研究发现，人类生成的随机序列与真正的随机序列有着显著的差异。

我们通过一个经典的行为科学实验来研究这一问题：让人类或机器生成一系列随机结果，比如抛硬币的序列，然后将这些序列与真正的随机序列进行比较。简单来说，就是看看这些序列与“纯粹的随机性”有多大差距。

虚拟硬币实验

▎温度参数：AI的“随机性开关”

与人类不同，大语言模型有一个关键参数——温度（temperature）。温度决定了模型输出的多样性：温度越低，输出越一致；温度越高，输出越随机、越多样化。然而，当温度过高（比如超过1.5）时，模型的输出可能会变得混乱，甚至无法从中解析出硬币的正反面。因此，我们的实验温度范围设定在0到1.5之间。

当我们让AI连续抛20次硬币时，结果同样有趣。实验发现，所有模型在序列的第一次抛硬币中都倾向于选择“正面”，这与人类的行为高度一致。无论温度如何变化，这种“正面优先”的倾向始终存在。这不仅揭示了AI在随机性任务中继承了人类的偏差，还表明这些偏差在某些情况下可能被进一步放大。

▎AI的“第一印象”偏差

在我们的实验中，超过88%的AI生成的硬币序列以“正面”开始，这一比例远远高于人类数据。这表明AI在“第一印象”上继承了人类的偏差，并且表现得更加明显。尤其是Llama-3，它的偏差比GPT系列模型更强。GPT-4和GPT-3.5之间也存在差异，GPT-4通常表现出更少的偏差。

这种“第一印象”偏差不仅出现在硬币的正反面选择中，还出现在其他二元选择中，比如“真/假”或“A/B”。这可能暗示了语言中的“固定二元组”对AI的决策产生了影响。

▎AI的“平衡”偏差

在实验中，GPT-4和Llama-3生成的序列中，正面和反面的比例往往比随机分布更接近50%，甚至比人类生成的序列还要“平衡”。例如，在8次抛硬币的序列中，它们平均会有4次正面，这与人类的行为非常相似。不过，Llama-3在低温时表现出轻微的正面偏好，而GPT-3.5在低温时则表现出强烈的反面偏好，但在高温时会逐渐接近人类的分布。

▎连续序列与N-gram模式人类在生成随机序列时，往往会过度切换正面和反面，认为这样看起来更“随机”。研究表明，人类序列的交替比例通常为60%，而真正的随机序列应该是50%。在AI实验中，这种“过度切换”的倾向被进一步放大。例如，在8次抛硬币的序列中，理论上应该平均有3.5次交替，但AI模型的交替次数普遍高于这个值。GPT-4在低温时几乎总是生成“正反交替”的序列，而Llama-3则倾向于生成“正反正反……”或“正反正正……”的模式。

本文转自：Coggle数据科学