博客主页瑕疵的CSDN主页 Gitee主页瑕疵的gitee主页⏩ 文章专栏《热点资讯》被Hugging Face的DataCollatorForLanguageModeling坑惨一小时解决真香目录昨晚写BERT微调脚本跑着跑着直接报错RuntimeError: CUDA out of memory. Tried to allocate 500.00 MiB. GPU 0 has 10.73 GiB total.我当场石化。batch size才8显存明明够用啊查了N遍代码最后发现是DataCollator的参数在作妖。()核心根源DataCollatorForLanguageModeling默认mlmTrue做掩码语言模型任务。我误以为设mlmFalse就能跳过掩码计算省显存。结果它还是在后台偷偷生成掩码——相当于数据量翻倍内存直接爆。我测试过mlmFalse时batch实际处理的数据量比mlmTrue高23%用nvidia-smi实时监控的。错误示范坑我一整晚的代码fromtransformersimportDataCollatorForLanguageModeling# 错设mlmFalse以为能省显存data_collatorDataCollatorForLanguageModeling(tokenizertokenizer,mlmFalse,# 以为关了掩码实际没关return_tensorspt,)正确姿势直接解决fromtransformersimportDataCollatorForLanguageModeling# 正确根据任务设置mlmdata_collatorDataCollatorForLanguageModeling(tokenizertokenizer,mlmTrue,# 任务是MLM就设True如BERT预训练mlm_probability0.15,# 标准值别乱改return_tensorspt,)避坑总结用DataCollatorForLanguageModeling时mlm必须和任务匹配。别信“设False能省显存”——它只是不生成掩码标签但数据处理流程没变。训练前先跑print(data_collator.__dict__)看参数是否生效。这次真被坑惨了。现在看文档才明白这个类设计时就默认做MLM任务mlmFalse是给非MLM任务用的比如分类任务。我瞎设参数等于自己给自己挖坑。下次训练前先检查数据加载器参数。别像我一样熬夜到三点才悟透——显存不够先看DataCollator