High Resolution Image Inpainting using Multi Scale Neural Patch Synthesis

High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

生成高质量的inpainting，大体上也是运用了上文的MRF方法

1. 用了两个网络：一个是整体内容网络，另一个是局部纹理网络
2. 整体内容网络：
   • 输入一个中心去洞的图片，生成一个大致填补好的图片
3. 纹理网络：
   • 用的是alexnet预训练的vgg网络，输入的是上面说的大致填补好的图片，然后通过small nerual patches(3*3的小块)，比较的是洞内小块和洞外小块的相似度。对于洞内某一块，取该块与洞外相似度最大的那一块作为度量值。总的损失是洞内所有块损失的均值。
   • 相似度的度量是通过feature loss来度量的，即通过比较送入VGG后，其中的一些中间层输入的差异来比较。但是这里用到的是上文MRF用CNN的快速计算方法。
   • 更新的方式用的是L-BFGS来迭代洞里的图片