Real Time Single Image and Video Super Resolution Using an Efficient Sub Pixel Convolutional Neural Network

目标

• 寻求一个把低分率图片放大r倍得到一个超分辨率图像的结构

提出了 sub-pixel 卷积的方法

• 其实实际上还是普通的卷积，只不过在最后一层channel有crr个。低分辨率图上每一个像素点放大r倍以后得到的r*r个像素。如下图

如何得到映射

• 超分辨率图上的每一个点对应哪个channel如下：
  

其中T是经过卷积后的特征图片，跟低分辨率图片一样是WHC，PS(T)是指由T得到的超分辨率的图片

• 说明我们可以对于放大后的每一个rr像素块，我们可以知道x,y的坐标（0~(r-1)）共r个值,也就是上式上的mod(x,r)和mod(y,r)。而输出图像的channel应该和输入图像一样。现在开始分配这rrc个通道：对x分配通道，rr*c / r，每组有rc个值。再对这rc个值分配y的通道，每组右rc/r=c个值，而这c个值分配给输出的c即可