通俗版
时,学习速度、每次喂多少数据这类设置要人来定;用时,、最长输出这类设置也可以调。反复试这些数字找到最合适的组合,就叫调参。因为常靠经验和反复试错,也被戏称为“玄学调参”。
工程版
超指不由直接学出、需要人为设定的配置,如学习率、批大小、轮数、正则化强度;阶段的、top-p、最大输出长度也常被一并称为。调参方法包括网格搜索、随机搜索和贝叶斯优化。注意它与内部的“”(权重)不同。
举个例子
一个,学习率设太大,效果越训越差;调小一半后,验证集成绩明显提升。
容易搞混
“调参”的参通常指超,不是内部那几百亿个。是学出来的,超是人定的。