非常规的DeepFaceLab(DeepFake)小花招和注意事项

DeepFaceLab相关文章

如果你已经从别的地方了解了这些信息可以跳过。
如果没有,在此之前请看看 相关专栏,里面有基础信息和历史版本的变化。

文章目录

  • (一)更新放缓的稳定版本
  • (二)技巧汇总
    • (2.1)常规的技巧
    • (2.2)角度/表情小花招
    • (2.3)加入噪点更自然
    • (2.4)确认每一帧的头像
    • (2.4)使用LHR显卡的问题

(一)更新放缓的稳定版本

官网放出的包停留在2021年11月20日的版本,
如果访问不了可以用下面的磁力链接。

之后作者还有几次小的更新,可以自己拖git源码更新。
各个步骤和以前差不多,具体更新内容请看作者的描述。
这里不是重点。

(二)技巧汇总

(2.1)常规的技巧

之前的文章提过一些使用技巧,这里仅简短总结一下:

  • 视频图片一定要降噪。
  • 确认每一帧提取的头像都是正确的
  • 重复利用你的模型(即使src/dst都换了)。
  • 用更高的分辨率(如果显卡显存运行,分辨率会量变引起质变)。
  • 使用适当的合成参数(边缘模糊,大小缩放,颜色转换类型等)。
  • 特殊遮挡情况下,自己训练和使用遮罩。

(2.2)角度/表情小花招

如果我们提取的data_dst(目标),能识别的面部有角度特别大的,比如大角度抬头低头(俗称死亡角度)。
那么因为data_src(源)很难有对应角度,所以尽管训练次数很多,训练结果也不佳,很不自然。

这时候可以选择:

  1. 你自己头像做data_src的,大可再拍一些刁钻角度,丰富后用于训练(Really
  2. 将中这些角度特别大的头像图片,拷贝到中,再进行训练。
  3. 直接将面部信息放入进行训练,一定时间后再换成正常的data_src训练。

使用方法2:
这些角度的面部变得自然,但也变得不再是data_src中人的样子了。
不过角度特别大的情况下,其实也看不出来是谁,这时候视频整体显得自然更重要。
同时缺点是你得自己去选哪些照片,还要注意用完后不要混入真正的data_src中了。

使用方法3:
偷懒的办法,也许没有方法2那么自然吧……呃,自己试试:)


(2.3)加入噪点更自然

由于机器学习的特点,训练后的脸部,会显得相对平滑。
而视频画面其它位置,特别是电影是一定有噪点的。

两者合成后就会显得不自然。
这时候可以:

  1. 合成时选择合适的超分辨率系数。
  2. 将视频帧大幅度降噪,合成后,再用其它视频处理软件加入一定的模仿电影画面的噪点。

这两个方法可以同时用,不是二选一。
比如最近做的这个例子(不知道能看出效果么):

是中国古装奇幻版本特工绍特么/p>


(2.4)确认每一帧的头像

这点在前面其实写过:

  1. 确认每一帧只提取了目标的头像,而不是其它人的,或多个头像。
  2. 重新手动提取扭曲的/错误的头像。

但是重点来了:

即使你检查过提取后的头像图片是正常的,也不能完全确认头像正确。
还需要检查识别到头像的每个视频帧。

也就是,你仅仅检查里的头像图片是不够的,如下:

非常规的DeepFaceLab(DeepFake)小花招和注意事项
似乎工程量很大,但是清晰的脸部都不会有什么问题。
大部分时间只是浏览图片一遍。

真正需要找到的识别有问题的,可能只有几张。

PS:希望我的表述足够清楚。


(2.4)使用LHR显卡的问题

!!!更新:有报道称N卡522.25版本驱动取消了挖矿限制,所以升级驱动后,应该没有下面的问题了……

托显卡挖矿的福,导致之前很长时间显卡大幅涨价。
价格很离谱,同时严重的消耗了整个地球的能源和半导体,还不产生任何真正的价值。

那时厂商推出的LHR显卡(Light Hash Rate)低哈希运算,也就是锁挖矿能力。

本意是给游戏玩家一条生路。但是在训练时偶然发现……
可能中途导致训练速度变成正常的50%(真是谢谢您,Nvidia,温暖了四季…)。

遇到这种情况可以稍微调低训练参数,比如Batch Size,不要让显卡负载太高(这是咱应该操心的么)。
或者如果没有买30系列显卡的,可以等等,40来了。

PS:不知道40系列上市后,是否DFL也会有30时代的适配问题。

来源:若苗瞬

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年9月13日
下一篇 2022年9月14日

相关推荐