图像语义分割基础 U-net

U-net是早在2015年提出的全连接结构网络。它使用包含压缩路径和扩展路径的对称U形结构

1
2
3
4
5
6
7
8

@inproceedings{ronneberger2015u,
  title={U-net: Convolutional networks for biomedical image segmentation},
  author={Ronneberger, Olaf and Fischer, Philipp and Brox, Thomas},
  booktitle={International Conference on Medical image computing and computer-assisted intervention},
  pages={234--241},
  year={2015},
  organization={Springer}
}

网络的输入是一张572×572的边缘经过镜像操作的图片（input image tile），网络的左侧（红色虚线）是由卷积和Max Pooling构成的一系列下采样操作，这一部分叫做压缩路径（contracting path）。压缩路径由4个block组成，每个block使用了3个有效卷积和1个Max Pooling下采样，每次下采样之后Feature Map的通道数乘2，尺寸变小，因此有了图中所示的Feature Map尺寸变化。最终得到了尺寸为32×32的Feature Map。网络的右侧部分(绿色虚线)在论文中叫做扩展路径（expansive path）。同样由4个block组成，每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半（最后一层略有不同），然后和左侧对称的压缩路径的Feature Map合并，由于左侧压缩路径和右侧扩展路径的Feature Map的尺寸不一样，U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的（即图1中左侧虚线部分）。扩展路径的卷积操作依旧使用的是卷积操作，最终得到的Feature Map的尺寸是388×388。由于该任务是一个二分类任务，所以网络有两个输出Feature Map。

所谓的镜像操作是为了更好的处理图像的边界像素而提出的，就是是给输入图像加入一个向内对称的镜像作为边。增加的大小是感受野的一半。

• 图像分割基础
• GANomaly
• U-net
• CNN