civitai吧 关注:4,394贴子:4,198
  • 28回复贴,共1

lora训练人像模型细节求大佬解答

只看楼主收藏回复

使用lora训练真人模型的话,
1.如果是亚洲人,使用sd1.5 还是用最近比较火的chilloutmix 作为底模型?
2.底模型一般都有一个4gb 版本一个8gb版本,用来微调的话那个合适?
3.如果训练人像需要找不同的角度,需要分开作为不同的概念 进行训练吗?比如 concept-upper-body ,concept-full-body,….
4.数据集的话大概多少张合适?
玩c站差不多一周了,自己也做了几个模型,但是效果不太好,希望大佬能解答。


IP属地:江苏来自iPhone客户端1楼2023-02-24 05:32回复
    我最近在玩chillo那个模型,生成出来的人脸更偏向亚洲人


    IP属地:天津来自Android客户端2楼2023-02-24 09:18
    收起回复
      老哥,有进展吗


      IP属地:广东3楼2023-03-14 14:48
      收起回复
        你用这种方式 concept-upper-body ,concept-full-body,….的话,身体部分的可素材,需要抠图吗,还有身体的可素材图需要头吗,因为有时图片可能不太够,用一些相近的来替换的话,要头部吗,还是只要身体就可以


        IP属地:北京4楼2023-03-24 19:19
        收起回复
          大佬 我想问下 我在sd-webui上训练出的lora模型 无法使用 就算是加了权重 也没用 求大佬指点下


          IP属地:中国香港来自Android客户端5楼2023-03-29 17:28
          收起回复
            所以楼主用的是4g还是8g的,应该差不多?


            IP属地:广东6楼2023-03-30 15:58
            收起回复
              训练了1周,分享一点经验 ,租的gpu,大家互相探讨,减少点试错成本吧
              发觉训练图片集不是越多越好
              大概在40-50张可以出还算满意的结果,另外半身照数量优于大头照和全身照
              尝试过大头照,半身,全身分阶段训练,至少我肉眼看下来感觉和整体一起训练区分不大
              一定要用loin,不要8bit
              用chilloutmix做训练的情况下,出真人图效果比1.5更好,但泛用性不行,文生图的时候换个画风模型根本转不过去…当然也可能是我的lora过拟合…
              一定要挑光线好的,无遮挡的图,一定要抠图,无关东西一定要去掉,不然影响真的很大
              可以用一张图来分别做大头照,半身照,全身照来凑数,但出来的图也会很大程度上感觉似曾相识
              重复训练的时候,可以减少训练集数量,防止拟合
              我测试下来,重复训练三次以后,用20张图的效果要比50张图好,50张图的就拟合了,20张图是在拟合的边缘……
              另外尽量减少侧面的图片,我50张图里放了11,12张侧面图,结果出图好多都是侧面,加了tag和反向tag无法避免…血压都上来了
              如果有想到要补充的,我后面再继续


              IP属地:上海7楼2023-03-30 19:13
              收起回复
                正在弄人头训练,方便加个V沟通下么?v:huishu2012520


                IP属地:广东9楼2023-04-04 15:35
                回复