通俗版
如果网上越来越多内容是 写的,新又拿这些内容来,就像复印件再复印,少见的、有个性的内容会慢慢消失,最后只会说些重复、平庸的话。研究者把这叫模型崩溃。
工程版
Shumailov 等人 2024 年 7 月发表在 Nature 的论文《 models collapse when trained on recursively generated data》指出:在中不加筛选地使用生成的内容,会造成不可逆的缺陷,原始数据分布中少见的部分逐渐消失。他们认为这并不意味着完全不能用合成数据,但需要认真筛选,真实的人类数据会越来越有价值。
文言
模型崩溃,以 AI 所生之文训 AI,代代而衰也。
举个例子
论文实验中,一个连续用上一代的输出,到第九代时,一段关于中世纪建筑的文字变成了一串无关的兔子名称。
容易搞混
模型崩溃说的是数据被污染后的长期退化,和用户觉得某个突然“”不是一回事。