通俗版
显卡有自己的内存,叫显存。、你输入的内容、生成过程中的中间结果都要放进去。东西太多装不下,程序就会报错退出,这在圈子里叫“爆显存”。常见于在自己电脑上跑。
工程版
指 显存分配失败(如 CUDA out of )。占用主要来自权重、对应的 KV 缓存、批大小和时的梯度与优化器状态。常见缓解办法:换更小或过的、缩短、减小批大小、把部分层放到内存或多卡切分。
举个例子
在一张 8GB 显卡上加载一个,刚开始生成就报错“CUDA out of ”,这就是爆显存。
容易搞混
爆显存说的是显卡内存不够,和电脑内存(RAM)不足、硬盘空间不足是不同的问题。