调研数据迁移方法。

[lpj0822]

No description provided.

[vitahlin]

进一步调研，看是否有可用demo

[kingwangxiang]

1.尝试调通Demo Code for "Talking Head Anime from a Single Image"，torch版本问题有个api接口变了，如图1-A所示。

图1-Atorch版本api改变
2.项目要求torch>=1.4，机器显卡比较低配，驱动最高支持cuda10.0，对应最高版本torch为1.2。所以只能尝试CPU试验一下。

[lpj0822]

cuda10.0可以安装pytorch1.5，我现在就是这样用的

[lpj0822]

可以把这个代码链接放上来

[kingwangxiang]

1.尝试调通Demo Code for "Talking Head Anime from a Single Image"，使用cpu版torch可以调通，更改了头部姿态和左眼闭合，测试结果如图1-A所示。

图1-A cpu环境测试结果

[kingwangxiang]

代码链接更上去了。

[kingwangxiang]

1.Talking Head Anime from a Single Image输入上限制要求较高，如图1-A所示，不太容易获得，输入图拆解如图1-B所示。

图1-A输入要求


图1-B输入样图，为4通道图，前景RGB和蒙板Alpha
2.训练数据制作比较繁琐，如图2-A所示。可用的卡通3D模型，如图2-B所示，多为二次元人物，换一种漫风，数据很难获得。

图2-A数据制作

图2-B卡通3D模型

[MiniBullLab]

新一代GAN：S³GAN： https://zhuanlan.zhihu.com/p/58672490

[kingwangxiang]

1.尝试使用AnimeGanv2实现全图卡通画，也可以实现人像卡通画。AnimeGan介绍见 https://zhuanlan.zhihu.com/p/174202834
2.AnimeGan代码链接https://github.com/TachibanaYoshino/AnimeGANv2
3.AnimeGan v2代码已调通，风景和街景测试结果如图3-A所示，人物测试如图3-B所示。



a.测试原图



b.测试结果图
图3-A AnimeGan v2 场景测试结果


图3-B AnimeGan v2 人物测试结果

[MiniBullLab]

AnimeGanv2看看算法精度咋样，如果精度可以就以这个算法为基础去先做

[kingwangxiang]

好的

[kingwangxiang]

1.AnimeGanv2，训练数据已转换好，计算出其均值，如图1-A所示。


图1-A
2.AnimeGanv2，官方给出TensorFlow版的train代码，未给出初始化checkpoint，训练会报错，如图2-A所示。

图2-A
3.找到非官方的pytoch版的代码https://github.com/wan-h/AnimeGANv2_pytorch，给出的demo贴图看着还行，后续尝试调通，如图3-A所示。

图3-A

[foww-0001]

需要服务器可以尽快和我们联系。

[kingwangxiang]

1.非官方AnimeGanV2 pytoch版，模型已训练完成，选择迭代50个epoch的模型测试图1-A和图1-B，测试结果如图1-C和图1-D所示。

图1-A

图1-B

图1-C

图1-D

2.测试结果精细度上没有官方demo的好。

[kingwangxiang]

1.非官方AnimeGanV2 pytoch版，尝试使用100个epoch做微调，训练到第二个epoch的时候，模型崩了。如图1-A所示，问题还在调试中

。


图1-A模型训练崩塌。

[kingwangxiang]

1.英伟达最新发布DatasetGanhttps://nv-tlabs.github.io/datasetGAN/。

[kingwangxiang]

1..英伟达最新DatasetGan,试验人脸34类faceparsing。论文截图如图1-A所示，生成数据集如图1-B所示。

图1-A论文中样图

图1-B DatasetGan生成的人脸和对应parsing标签图(标签是可视化后的)
2.使用生成的数据，训练deeplabv3，测试结果如图2-A所示。一共生成的2000张图训练数据，全是外国人的(如图2-B)，如果要是亚洲人，要微调styleGan，其中生成不好的(如图2-C所示)也没有调出来，想着先试验看看，总体训练下来，测试还行。



图2-A deeplabv3测试结果(原图(上)，上色后的parsing(中)，可视化到原图(下))

图2-Bdatasetgan生成的训练数据(对应parsing真值图忘记复制出来)

图2-C生成不好的人脸，对应真值标签有的会多出一块。