使用finetune_hf.py进行65条数据的微调，报cuda out of memory，是需要添加什么配置的吗？

[zhaohai7206]

我这是两张4080卡，都是16G的，执行环境也是在conda，按照requirement里面进行的python包安装，chatglm3-6模型，从https://hf-mirror.com/THUDM/chatglm3-6b/tree/main上面下载的，但是执行python finetune_hf.py ../../AdvertiseGen chatglm/chatglm3-6b configs/lora.yaml 进行微调的时候就会报oom

请问下，是需要配置什么的吗，代码文件没有任何修改的

[zhaohai7206]

看晚上有人使用过python finetune_hf.py AdvertiseGen chatglm/chatglm3-6b configs/lora.yaml output，后面参数多了一个output，但是我执行的会报下面的问题，并且output目录没有任何生成任何文件

[zhaohai7206]

有哪位大佬帮忙解决下的吗，求助啊

[zRzRzRzRzRzRzR]

16G可能不够的话，你可以降低一下max token 16G太极限了

[zhaohai7206]

最上面输出提示里面显示需要17179869184.00G，这个是什么意思，目前应该不可能有这么大内存的吧，还是说需要设置什么降低这个内存使用需求的