通俗版
一个只学过海量文字的,未必会好好听指令,也可能说出有害的话。对齐就是想办法让它做人真正想让它做的事:有帮助、说实话、不伤害人。 就是一种常用的对齐方法。
工程版
指使目标与行为符合开发者意图和人类价值的研究方向与技术,常见手段包括指令、()、基于规则或 反馈的方法,以及红队测试与评估。“价值观”由谁定义、如何在不同目标间取舍仍有争议;对齐不足或过度都会影响使用体验。
举个例子
你让 教你做危险物品,它拒绝并说明原因,这是对齐的结果;但它有时拒绝了正常请求,也说明对齐还不完美。
容易搞混
对齐不等于“审查”,也不只是加几条禁令。用户、一味说好话,反而是对齐没做好的表现之一。