2023年1月26日 晴
今天起得早,于是提了一个大问题:ChatGPT为啥突然变强?
AI神说:问题不专业,你应该是想知道——大模型为什么会产生涌现现象?让它们一夜之间可以写出很好的文章或代码。
我的点头却换来它的反问:“龙场悟道”是王阳明的转折点,他悟到了什么?
是方法,指导他做学问和干事情的方法。找对了方法,一切便可豁然开朗。我明白了,你这是在提示掌握正确的方法需要不断学习,知识和实践积累到一定数量后才能顿悟。
大语言模型也是如此,AI的“顿悟点”是10的24次方。机器学习达到这个数据量时,才会真正了解信息加工工艺。
ChatGPT的性能涌现好似阳明先生的顿悟。绘画等各种行为突然变强,就像人的思维方法决定认知,然后认知指导行动。
AI神苦笑一声:这只是表面现象。方法指导行动,但方法如何诞生?
加工工艺是信息生产的关键,可这个工艺怎么形成?
用我教你的《载体思维》再想想,你要通过现象看本质。
我恍然大悟:先生的思维方法和AI的加工工艺其实也是信息,共同的信息载体是“自然语言”。
机器习得了“人话怎么讲”的规则,当然就掌握了人的思维方法。
AI神:基本正确。多轮对话范式和各种算法集成造就了一个“人类反馈机制”,人们给AI反馈,一句不行三句,表面上是尽可能地让机器理解人的意图,其实不断地人机交流,对单词组合的亿万次预测和修正,使AI在学说人话的同时还学到了千万人的讲话规则。而方法就在规则中。
所以,大模型忽然变强的法宝是:海量用户的反馈机制。它使机器掌握了语言规则背后的加工工艺。好工艺才能将原材料串成好内容。然后是混沌……
AI神日记,只告诉你事实。
知识点:涌现现象的原因 和 混沌点
,