AnimeGAN v2:动漫风格化GAN

点击上方“机器学习与生成对抗网络”,关注星标

获取有趣、好玩的前沿干货!

金磊 丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI

排队1241人,等待2600秒……”

——这届网友为了看一眼自己在动漫里的样子,可真是拼了!

16b5aa24d6dd9e0382bcd8917c092035.png

“始作俑者”是一款可以把人像变动漫的生成器

80f890e19bf542b3bc264a7e59c9958b.gif

只需一张图片或一段视频,无论男女老少、明星素人都可以一睹自己的“动漫风采”~

什么“国民老婆”王冰冰

e62933cfa5f817238b21de61a6aec06e.png

什么“国民妹妹”IU

3e6caab8f0ea07aaf89108cfaf93161b.png

什么科技圈大佬、EDG成员、金发美女、容嬷嬷……

c0885fb8d519b696d1247a218ab465b2.gif

52a352c7da50ddc523f03714d10cacb8.gif

 视频效果

这也难怪网友把服务器都给挤爆了

87d52bcb316de439d274d24b881db9e6.gif

再看看GitHub上的相关项目,果然也冲上了趋势榜第一名

537aee425e42c36b05a02862c481ab99.png

这个AnimeGAN,真是厉害了!

如何给自己捏一个动漫脸/h2>

看完展示的效果,你是不是也想打造一个自己专属的漫画脸了呢/p>

这个可以有,现在就手把手教你。

第一种方法就very very简单了,只需要上传一张照片就可以。

提供在线玩法的网站(链接见文末),就是那个著名的抱抱脸 (Hugging Face)。

56c1902edf3b363cf344863f940274d6.png

它专门开设了一个在线AnimeGANv2的App,直接把图片“丢”进去就好。

ac328ce0365169c1f1ce1deb7f350c29.png

BUT!!!

也正如刚才提到的,现在这个AI着实有点太火了,简单的在线方法,就等同于排大队

706c501d7f368f8a4e5624b6cde939b5.png

这不,等了5259秒之后,前面还有15人……

如果不想排队怎么办/p>

接下来,就是第二种方法了——上代码

4221a91e263492a65e687fab56ba9075.png

热心网友在苦等了3小时之后,终于还是忍不住了,强烈安利Colab版本(链接见文末):

a5d677e406481302dcd55adc0f14d912.png

先运行一下文档里的前两段代码,然后只需要简单修改照片路径即可。

当然,如果想加大难度挑战一下,AnimeGANv2的GitHub项目也是有的哈:

abb6554ff628349fede5ba141f84b973.png

以上介绍的方法都是用图片转换,如果你想用视频的话,在AnimeGANv2项目中执行下面这两条命令就OK:

0a96f6bb23b776fa2df764defb44f30d.png

风格迁移+GAN

那么,如此效果的背后,到底是用了什么原理呢/p>

AnimeGAN是来自武汉大学和湖北工业大学的一项研究,采用的是神经风格迁移 + 生成对抗网络(GAN)的组合。

c194f23da5c999bdbe6e8b6506da9630.png

它其实是基于CartoonGAN的改进,并提出了一个更加轻量级的生成器架构。

a4c320e90345e535fa071c8cfdfeb516.png

AnimeGAN的生成器可以视作一个对称的编码器-解码器网络,由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。

为了有效减少生成器的参数数量,AnimeGAN的网络中使用了8个连续且相同的IRB(inverted residual blocks)。

在生成器中,具有1×1卷积核的最后一个卷积层不使用归一化层,跟随其后的是tanh非线性激活函数。

1e9f44fa574d808f8f5cd21a81470f06.png

上图中,K为内核大小,C为特征图数量,S为每个卷积层的跨度,H是特征图的高度,W是特征图的宽度,Resize值用于设置特征图大小的插值方法,⊕表示逐元素加法。

而此次的V2版本,是基于第一代AnimeGAN的升级,主要解决了模型生成的图像中存在高频伪影的问题。

具体而言,所采取的措施是使用特征的层归一化(layer normalization),来防止网络在生成的图像中产生高频伪影。

作者认为,层归一化可以使feature map中的不同通道,具有相同的特征属性分布,可以有效地防止局部噪声的产生。

17f374b8dfb650125dba4879c42b46a0.png

AnimeGANv2的生成器参数大小为8.6MB,而AnimeGAN的生成器参数大小为15.8MB。

它俩使用的鉴别器大致相同,区别在于AnimeGANv2使用的是层归一化,而不是实例归一化(instance normalization)。

网友:我变漂亮了

这个AI可算是圈了一众粉丝。

有些网友“冲进二次元”之后,发现了自己惊人的美貌:

它把我变漂亮了!

b61def5bd86940b7186cea55b48e1c90.png

而且非常骄傲的晒出了自己的漫画脸。

还有网友看完比尔盖茨的效果之后,直呼:

天!盖茨看起来聪明又性感。

2921ef8cee64e37a2b83c63aa1e345a0.png

1e9be060bc849e652667c1252c98d29a.png

作者:生成效果更好的AnimeGANv3也快来了

AnimeGAN的原作者一共有3位,分别是湖北工业大学的刘罡副教授,陈颉博士,以及他们的学生Xin Chen。

这个项目的诞生主要出于团队成员的个人兴趣,也就是对二次元宅文化和对艺术的热爱

作者之一陈同学介绍,AnimeGAN和AnimeGANv2分别耗时2-3个月完成,其中遇到了不少困难。

其中就包括硬件资源的极度匮乏,比如当时做AnimeGAN用到的英伟达单卡服务器还是由该校艺术设计学院的院长饶鉴教授提供,而他负责的研究也曾依赖于向其他同学借机器跑实验。

到了AnimeGANv2时,就只剩一台单卡2080ti服务器供使用了。

不过,所有努力都没有白费,如今AnimeGAN已受到非常多人的关注和喜欢,这让陈同学和他的导师团队都非常有成就感。

要知道,就连新海诚导演都曾转发过AnimeGAN的作品呢。

f3dd9cd4ed804d4b1d3aabb27a69c7dd.png

文章知识点与官方知识档案匹配,可进一步学习相关知识Python入门技能树人工智能深度学习208805 人正在系统学习中

来源:机器学习与AI生成创作

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年11月2日
下一篇 2021年11月2日

相关推荐