通俗版
研究者发现,有些能力在小上几乎为零,做大以后却像“突然学会了”,这被称为涌现。不过后来也有研究认为,这种“突然”可能只是打分方式造成的错觉。
工程版
Wei 等人 2022 年的《Emergent Abilities of Large Language Models》将其定义为“小不具备、具备”的能力,无法从小的表现外推。Schaeffer 等人 2023 年的《Are Emergent Abilities of Large Language Models a Mirage?》则认为,许多涌现现象源于研究者选用了非线性或不连续的评价指标,换用连续指标后提升是平滑的。该问题仍有争论。
文言
涌现,模型既大,忽有小者所无之能也;或曰度量之幻。
举个例子
一个小做三位数加法几乎全错,却能做对,这曾被当作涌现的例子。
容易搞混
“涌现”是一个有争议的研究观察,不代表 产生了意识,也不能保证再做大就会出现新能力。