【论文速递】ICCV2021 - 基于超相关压缩的小样本语义分割

【论文原文】：Hypercorrelation Squeeze for Few-Shot Segmentation

【作者信息】：Juhong Min Dahyun Kang Minsu Cho

获取地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Min_Hypercorrelation_Squeeze_for_Few-Shot_Segmentation_ICCV_2021_paper.pdf

博主关键词： 小样本学习，语义分割，4D卷积，超相关

推荐相关论文：

【论文速递】ECCV2022 - 开销聚合与四维卷积Swin Transformer_小样本分割
- https://phoenixash.blog.csdn.net/article/details/128698210
【论文速递】ACM2022 - 基于嵌入自适应更新和超类表示的增量小样本语义分割
- https://phoenixash.blog.csdn.net/article/details/128676817

摘要：

小样本语义分割的目的是学习仅使用目标类的一些带注释的支持图像从查询图像中分割目标对象。这项具有挑战性的任务需要理解不同层次的视觉线索，并分析查询和支持图像之间的细粒度对应关系。为了解决这个问题，我 们提出了利用多级特征相关和高效4D卷积的超相关挤压网络(HSNet)。它从中间卷积层的不同层次中提取不同的特征，构造一个4D相关张量集合，即超相关。 该方法采用高效的金字塔结构的中心-轴四维卷积，将超相关的高级语义线索和低级几何线索从粗到细逐步挤压成精确的分割面具。在PASCAL-5i、COCO-20i和FSS-1000的标准小样本分割基准上的显著性能改进验证了所提方法的有效性。

简介：

深度卷积神经网络[17,20,64]的出现促进了许多计算机视觉任务的巨大进展，包括对象跟踪[28,29,45]、视觉对应[22,44,48]和语义分割[7,47,62]等等。尽管深度网络是有效的，但由于数据标注需要大量的人力，特别是密集的预测任务，如语义分割，因此深度网络对大规模数据集中大量注释示例的需求[9,11,35]仍然是一个基本的限制。为了应对这一挑战，人们尝试了各种半监督和弱监督的分割方法[6,26,39,66,72,77,88]，从而有效地缓解了数据饥饿的问题。然而，由于只有少数带注释的训练例，深度网络泛化能力差的问题仍然是许多小样本分割方法[10,12,13,19,33,36,37,46,54,61,63,69,70,74,75,80,83,86,87,89]难以解决的主要问题。

相比之下，人类的视觉系统很容易在极其有限的监督下实现对新物体外观的概括。这种智能的关键在于能够在同一类的不同实例之间找到可靠的通信。 最近在语义对应方面的工作表明，利用密集中间特征[38,42,44]和 用高维卷积处理相关张量[30,58,71]在建立精确对应方面非常有效 。然而，虽然最近的小样本分割研究开始积极探索相关学习的方向，但 其中大多数[36,37,46,65,73,75,80]既没有利用CNN早期到晚期层的不同层次的特征表示，也没有构建两两的特征相关性来捕获细粒度的相关模式。 已经有一些尝试[74,86]利用多层特征的密集相关，但从简单地将密集相关用于图注意，仅使用中间卷积层的一小部分的意义上来说，这些尝试是有限的。

在这项工作中，我们结合了近年来视觉对应研究中最具影响力的两种技术，多层次特征和4D卷积，设计了一个新的框架，称为超相关挤压网络(HSNet)，用于完成小样本语义分割任务。如图1所示，我们的网络 利用来自许多不同的中间CNN层的不同几何/语义特征表示来构建一个4D相关张量集合，即超相关 ，它表示多个视觉方面的丰富对应集。在FPN[34]的工作之后，我们采用金字塔设计来捕捉高级语义和低级几何线索，使用深度堆叠的4D conv层以粗到细的方式进行精确的面具预测。为了减少大量使用高维卷积所带来的计算量，我们通过合理的权值稀疏化设计了一种高效的4D核，该核在实现实时推理的同时，比现有的核更有效、更轻量。对PASCAL-5i[61]、COCO-20i[35]和FSS-1000[33]标准小样本分割基准的改进验证了所提方法的有效性。

【论文速递 | 精选】