通俗版
预训练像让学生先读完一整座图书馆:不针对某个具体任务,只是大量地读,学会语言、常识和各种规律。这一步最花钱、最耗。做完以后,还要通过等步骤,把它调教成好用的助手。
工程版
在大规模无标注语料上,以自监督目标的阶段;语言最常用的目标是。产出的是“基座”(base ),之后通常还要经过指令、等后(post-)阶段。
举个例子
一个刚做完预训练的基座,你问它问题,它可能只是顺着你的话往下续写,而不是好好回答,因为它还没学会“当助手”。
容易搞混
预训练是的第一阶段,不是“提前准备好答案”。的,主要也由这一阶段用的资料决定。