您好、欢迎来到现金彩票网!
当前位置:刘伯温预言 > 图像变换 >

【变狗为猫】伯克利图像迁移cycleGAN猫狗互换效果感人

发布时间:2019-06-12 05:28 来源:未知 编辑:admin

  cycleGAN 网络,做了一个“将狗和猫的图像互换”的模型,并且生成的猫或者狗的姿势和毛色与输入的图像保持一致。作为图像研究的重要课题,这个项目取得了不错的进步。

  GAN(生成对抗网络)为图像变换任务带来了很多的惊喜,受到很多研究者的关注。例如前阵子很火的“画猫”项目(edges2cats):勾勒出物体的边缘,神经网络能够自动补全图像信息,生成对应的图片(图1)。也有人脑洞大开,用DCGAN、WGAN等4种GAN来生成“猫图”(图2)。最近,日本NTT Data的itok_msi小哥用其中比较新的cycleGAN网络,做了一个“将狗的图像变成猫”的模型,并且生成的猫的姿势和毛色与作为输入的狗的图像保持一致。

  cycleGAN是加州大学伯克利分校 Jun-Yan Zhu等人提出的一种图像风格转换技术。它的想法是在没有成对的训练数据的情况下,实现图像风格转换。cycleGAN效果令人印象深刻,它可以让不同画家风格的画作还原成照片,将夏天变成冬天,将马变成斑马,橘子变成苹果,等等(图3)。

  实际上,cycleGAN的原论文(Zhu, Jun-Yan, et al., 2017)中也提出了将狗的图像变成猫的想法,但论文中的实验结果是失败的(图4)。

  这是由于猫和狗的毛色、质感不同,尤其是脸型差异非常大。原论文中也指出这是往后需要研究的一个课题。

  尤其是,Gdog→cat(将狗转变成猫)出来的图像几乎与原图一模一样。原因是什么呢?作者提出了2个可能的原因:

  要将猫和狗进行变换,就不得不牺牲输入图像的一部分信息。这就需要使cycle consistency loss增大。一方面,假如输入图像和输出的图像完全一样,也就是cycle consistency loss需要最小。我们想要将狗变成猫,那么完全一样是不行的,也就是cycleGAN的损失需要大一点。但是,这里的问题出在狗和猫有一些局部特征是非常相似的。

  cycleGAN的判别器(DA,DB)采用patchGAN(参考文献[1][2])的机制学习。在鉴别输入的图像是生成器生成的图像,还是源图像时,不使用整个图像,而是使用图像的局部(patch)进行判别。

  判别器网络变小虽然有好处,但是猫和狗有些局部特征非常相似,使得学习相当困难(图5)。换句话说,就算Gdog→cat(将狗变换成猫)生成的结果与源图像完全一致,也可能欺骗判别器说变换的效果非常好。

  简单地说,在patchGAN的判别器增加一层,LGAN同时考虑全局的信息和局部的信息。

  在上面的实验的基础上,针对实验失败的可能原因继续进行修改后,得到了比较好的一些结果:

  总的来说,如果狗和猫的图像是朝向正面,结果会比较好。这是由于从正面看,猫和狗的五官有相似之处。但是在上面两个例子中,如果图像中猫或狗的脸朝向侧面,狗有大耳朵而猫没有,需要进行大胆的变换,依然是相当难的。

http://3dtvsource.com/tuxiangbianhuan/294.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有