通俗版
就像一家医院有很多科室，病人来了只去相关的几个科。混合专家内部有许多小网络（专家），每处理一个，只选几个专家参与计算。这样总可以很大，每次实际用到的计算却少得多。
工程版
MoE 层包含多个前馈子网络和一个门控（路由）网络，后者为每个输入选出少数专家（稀疏激活）。Shazeer 等人 2017 年的《Outrageously Large Neural Networks》提出了稀疏门控 MoE 层。因此常区分“总量”和“激活量”；难点包括负载均衡和通信开销。
举个例子
某个标着“总 6710 亿、每次激活 370 亿”，说的就是混合专家结构：大部分专家每次都在“休息”。
容易搞混
“专家”不是真的懂医学或法律的专家，只是内部分工的小网络，分工是中自动形成的。