通俗版
人先给的几个回答排个好坏,系统再一个“打分员”学会人的偏好,最后用这个打分员反复指导改进。聊天 变得会好好回答、懂礼貌,很大程度上靠这一步。
工程版
Reinforcement Learning from Human Feedback。Ouyang 等人 2022 年的 InstructGPT 论文描述了典型流程:先用人工示范做监督,再由标注者对多个输出排序奖励,最后用强化学习优化以获得更高奖励。它可能放大标注者偏好,也被认为与倾向有关。
文言
基于人类反馈的强化学习,RLHF 也,人评其答,据以调模型。
举个例子
你在聊天 里点“赞”或“踩”,这些反馈有可能被服务商用于改进(具体要看服务的数据政策)。
容易搞混
RLHF 是阶段的方法,不是你和 聊天时它当场在学习。