刚训练lora，模型崩的太快了，怎么破？【novelai吧】

novelai吧关注：357,922贴子：1,718,103

求助

猫鼠，退退退

epoch 10，step50，alpha、dim32，15张图，底模amo3a3，
lr0.0001，lr Schedule余弦退火，512x512
loss如下，
xyz如下，
就前一两个模型还行，后面的都过拟合了

送TA礼物

IP属地:沙特阿拉伯

来自Android客户端1楼2023-05-24 08:22回复

IP属地:沙特阿拉伯

来自Android客户端2楼2023-05-24 08:31

我的到后面脸也蹦了

IP属地:广东

来自Android客户端7楼2023-06-19 01:45

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴