极致的遮罩处理:DeepFaceLab手动遮罩编辑。

这篇文章专业程度较高,请务必仔细阅读!本文将回答这样几个问题:1、哪些模型有遮罩学习功能?遮罩学习有什么用?2、怎么编辑遮罩。3、对于有部分遮挡的SRC图片应该怎么办?4、如果DST脸上有个“痦子”我想在换脸后保留这个“痦子”,我应该怎么办?(遮罩用法可以参考DeepFaceLabs网的AI换脸进阶:如何给戴眼镜的面部换脸?

极致的遮罩处理:DeepFaceLab手动遮罩编辑。

小伙伴们在使用SAE和SAEHD模型时,经常会问到的一个问题就是,我应该学习遮罩(learn_mask)吗?学习遮罩有什么用?也有的“专家”在讨论SAE/SAEHD和H/DF模型的区别时,会煞有介事的说H/DF没有遮罩学习功能,遮罩学习是SAE/SAEHD的一个优点。其实H/DF模型是有遮罩学习功能的,并且遮罩学习的参数在解码器钟(decoder)中占的权重还不小呢。可以关闭遮罩学习恰恰是SAE/SAEHD模型的一个优点。可是遮罩学习到底是干什么的,有什么用吗?

太懒只想看一句话答案:如果你手动编辑了遮罩,遮罩学习完全没用。如果你没有手动编辑遮罩,遮罩学习也没啥用,只是能让你的遮罩“光滑一些”。

其实遮罩信息是储存在头像文件里的,在视频合成时,如果不选择Learn,就会调用文件里的遮罩信息。训练时,程序也只会关注还原遮罩内的区域,让遮罩内的内容尽量的清晰。因此精确的遮罩信息对学习是非常有益的。有人说“小白看模型,大佬看素材”。其实,大佬中的大佬,还要看素材遮罩信息是否准确的。为了精确的得到遮罩,我们就需要手动编辑遮罩范围。

遮罩还能手动编辑?是的,其实作者在程序里集成了一个遮罩编辑小工具,这个小工具本来是让大家帮着编辑一些精确的面部区域来训练FAN的,但貌似没什么人回应作者,作者很伤心。在这里我们也呼吁大家,尽量力所能及的帮助作者开发。我们今天就教教大家怎么手动编辑遮罩。首先建立一个批处理文件(bat),并用记事本打开,在里面输入如下内容。如果不会做也没关系,大家可以在我们的群文件里下载这个批处理文件。

@echo off
call _internal\setenv.bat
“%PYTHON_EXECUTABLE%” “%DFL_ROOT%\main.py” labelingtool edit_mask^
    –input-dir “%WORKSPACE%\data_dst\aligned”  ^
    –skipped-dir  “%WORKSPACE%\data_dst\skipped”^
    –confirmed-dir “%WORKSPACE%\data_dst\confirmed”
pause

其中”%WORKSPACE%\data_dst\aligned”就表示dst的对齐头像了,”%WORKSPACE%\data_dst\skipped”是跳过文件夹”%WORKSPACE%\data_dst\confirmed”是编辑好的确认文件夹。大家可以自行修改。

极致的遮罩处理:DeepFaceLab手动遮罩编辑。

双击这个bat文件后,会出现一个对话框,问你眼眉区域的扩展参数,范围是从0到400,默认100。如果输入0,就会缩小眼眉默认遮罩区域;输入400,会放大,一般默认回车即可。

接下来就是编辑功能了

我们在这个文件夹里只放了4张照片,大家可以在这个遮罩编辑器的第一行里看到要编辑的照片。照片的第二行有三张照片,第一张就是普通照片,第二章显示了遮罩区域,第三章则只包含遮罩区域。

极致的遮罩处理:DeepFaceLab手动遮罩编辑。

用右键点选可以缩小遮罩区域。比如,如果想挖掉眼睛部分的遮罩,只需要在1,2,3,4的位置依次点击右键,最后鼠标中键按下确认 就可以了。类似的,用左键点选可以增加遮罩区域。用鼠标中键滚轮可以撤销上一步的更改。

极致的遮罩处理:DeepFaceLab手动遮罩编辑。

编辑好后,按[c]保存遮罩(保存在aligned文件夹内),按[e]也是保存,并放入“确认”文件夹。用[w]可以跳过当前这张头像,并将这张头像移入“跳过”文件夹;用[x]可以跳过这个头像,但这个照片不会被移入”跳过”文件夹。[q]/[z]会向前移动照片。用+/-可以放大和缩小这个窗口。

好啦,这个遮罩编辑有什么用呢?

当谈到如何选择SRC图片的时候,一种说法就是SRC图片应该尽量清晰,同时无遮挡。正脸一般都没有遮挡,侧脸被部分头发遮挡的情况是很多的。这时就可以使用遮罩编辑功能,把头发的部分去掉,即保存了侧脸的角度,又不会让多余的头发影响训练。类似的,如果SRC在脸上用了特效,甚至戴了口罩,只要你不嫌麻烦,精修遮罩。这些素材都是可以使用的。

如果DST脸上有个“痦子”,我又不想让这个“痦子”被换掉,怎么办?可以编辑DST的遮罩,把这个“痦子”从遮罩中抠出来。换脸的时候遮罩模式选择dst就可以了。

小伙伴们以后买素材的时候,别忘了问卖家,你的素材遮罩精修了吗?

注意:肖像版权归其作者及肖像者所有,请不要擅自买卖及传播!任何形式的买卖传播均已涉嫌违法!

相关链接:https://www.deepfacelabs.com/473.html