通俗版
就像大多数汽车都用四个轮子加发动机的基本结构,今天的几乎都建立在 Transformer 这套结构上。它的关键本领是:读一段文字时,能同时看到所有字,并判断哪些字之间关系最紧密。
工程版
由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》提出的神经网络架构,完全基于,不再使用循环和卷积结构,因而便于在 上大规模并行。由多层自注意力和前馈网络组成;GPT 系列等主要使用其中的解码器部分。
文言
Transformer 架构,今世大模型多所共用之骨架也。
举个例子
新闻里说“基于 Transformer 的”,意思就是它用的是这套目前最主流的结构,并不是某个具体产品。
容易搞混
Transformer 是一种结构,不是某个的名字。它和变形金刚同名,但没有关系。