智客公社

标题: AI的“随机性”挑战:它们比人类更“不随机”? [打印本页]

作者: afetal    时间: 前天 08:11
标题: AI的“随机性”挑战:它们比人类更“不随机”?
[attach]852423[/attach]

来源:Coggle数据科学你有没有想过,人类真的能做出完全随机的选择吗?答案可能出乎你的意料。事实上,人类天生就不擅长“随机”,我们总能在看似无序的事物中发现规律,甚至在本该随机的场景中创造出模式。这种“伪随机”行为,其实是一种独特的人类特质。最近,来自康奈尔大学探讨了大语言模型(LLMs)在随机性方面的表现。他们通过一个经典的实验——生成二进制随机序列,来观察这些模型是否能像人类一样“不随机”,或者是否能真正实现“随机”。
https://arxiv.org/pdf/2406.00092
研究结果令人惊讶。研究者发现,GPT-4和Llama-3在生成随机序列时,不仅表现出人类的偏差,甚至还加剧了这些偏差。
真随机 与 伪随机
人类有一种奇妙的天赋——发现规律。我们总能在生活中找到各种模式:在咖啡的奶泡中看到人脸,在星空里描绘出星座,甚至因为忘记穿幸运衫而觉得勒布朗·詹姆斯投篮不中是自己的错。然而,这种对规律的敏感也让我们在面对“随机性”时变得格外笨拙。比如,当你让一个人随机选择一个1到10之间的数字时,他们大概率会选择7;或者让他们在脑海中抛硬币,结果多半是正面。这些看似随机的选择,其实背后隐藏着可预测的规律。
抛硬币实验背后的秘密从20世纪初开始,人类对随机性的研究就从未停止。早在1913年,Fernberger就指出,人类生成随机序列的行为是一个复杂而迷人的课题。此后,无数研究发现,人类生成的随机序列与真正的随机序列有着显著的差异。我们通过一个经典的行为科学实验来研究这一问题:让人类或机器生成一系列随机结果,比如抛硬币的序列,然后将这些序列与真正的随机序列进行比较。简单来说,就是看看这些序列与“纯粹的随机性”有多大差距。
虚拟硬币实验▎温度参数:AI的“随机性开关”与人类不同,大语言模型有一个关键参数——温度(temperature)。温度决定了模型输出的多样性:温度越低,输出越一致;温度越高,输出越随机、越多样化。然而,当温度过高(比如超过1.5)时,模型的输出可能会变得混乱,甚至无法从中解析出硬币的正反面。因此,我们的实验温度范围设定在0到1.5之间。
[attach]852424[/attach]
当我们让AI连续抛20次硬币时,结果同样有趣。实验发现,所有模型在序列的第一次抛硬币中都倾向于选择“正面”,这与人类的行为高度一致。无论温度如何变化,这种“正面优先”的倾向始终存在。这不仅揭示了AI在随机性任务中继承了人类的偏差,还表明这些偏差在某些情况下可能被进一步放大。
▎AI的“第一印象”偏差
在我们的实验中,超过88%的AI生成的硬币序列以“正面”开始,这一比例远远高于人类数据。这表明AI在“第一印象”上继承了人类的偏差,并且表现得更加明显。尤其是Llama-3,它的偏差比GPT系列模型更强。GPT-4和GPT-3.5之间也存在差异,GPT-4通常表现出更少的偏差。
[attach]852425[/attach]
这种“第一印象”偏差不仅出现在硬币的正反面选择中,还出现在其他二元选择中,比如“真/假”或“A/B”。这可能暗示了语言中的“固定二元组”对AI的决策产生了影响。
▎AI的“平衡”偏差
在实验中,GPT-4和Llama-3生成的序列中,正面和反面的比例往往比随机分布更接近50%,甚至比人类生成的序列还要“平衡”。例如,在8次抛硬币的序列中,它们平均会有4次正面,这与人类的行为非常相似。不过,Llama-3在低温时表现出轻微的正面偏好,而GPT-3.5在低温时则表现出强烈的反面偏好,但在高温时会逐渐接近人类的分布。
[attach]852426[/attach]

▎连续序列与N-gram模式
人类在生成随机序列时,往往会过度切换正面和反面,认为这样看起来更“随机”。研究表明,人类序列的交替比例通常为60%,而真正的随机序列应该是50%。在AI实验中,这种“过度切换”的倾向被进一步放大。例如,在8次抛硬币的序列中,理论上应该平均有3.5次交替,但AI模型的交替次数普遍高于这个值。GPT-4在低温时几乎总是生成“正反交替”的序列,而Llama-3则倾向于生成“正反正反……”或“正反正正……”的模式。
[attach]852427[/attach]

阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828


[attach]852428[/attach]
未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。



截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告




上下滑动查看更多




欢迎光临 智客公社 (https://bbs.cnaiplus.com/) Powered by Discuz! X3.5