文章来源:[CVPR]
Keywords:Weakly-Supervised Semantic Segmentation(WSSS);over-smoothing; ViT
一、本文提出的问题以及解决方案:
本文解决了over-smoothing问题,该问题其实是在之前的GCN网络中提出。
提出了Patch Token Contrast (PTC),通过中间知识来监督最后的tokens,PTC可以对抗patch uniformity和提高弱监督语义分割(WSSS)伪标签的质量。
提出了Class Token Contrast (CTC),对比了全局前景和局部不确定区域(背景)的表示,并促进了CAM中对象活动的完整性。
二、方法
本文提出的ToCo在ViT encoder中使用一个辅助的分类层来产生辅助的CAM,辅助CAM生成生成伪标签并指导PTC模块。同时,它还为CTC模块生成proposals来裁剪正负局部图像。最终的CAM来自于一个分类层并用于生成最后的伪标签。
1、Patch Token Contrast
生成token label Y m Y^m Ym用于导出可靠的成对关系,用于设计可靠的pairwise关系来监督最后的patch tokens。
如果两个tokens共享相同的语义标签,它们被标记为positive pairs,否则被标记为negative pairs。同时,为了保证可靠性,只考虑两个tokens属于前景或背景区域而忽略不确定区域。
为了解决over-smoothing问题,两个最后的patch tokens属于positive pairs则最大化相似性,否则最小化。
2、Class Token Contrast
用PTC解决过over-smoothing问题可以驱动ViT以生成显著的CAM和伪标签。然而,仍然有一些判别力较弱的对象区域在CAM中很难区分。受ViT中提出的class tokens能聚合高层语义的启发,设计了CTC模块促进局部非显著区域和全局对象之间的表示一致性,这可以进一步强制CAM中激活更多的对象区域。
通过辅助CAM从不确定区域随机crop local images(固定数量)。通过最小化global和local class tokens之间的差异,整个object regions的表示可以更加一致。
为了抵消裁剪的局部图像可能包含很少/不包含前景对象,最大化全局图像和局部背景区域的class tokens之间的差异,也可以促进前景-背景的差异。
然后,将global and local class tokens 通过projection head P g 和 P l P^g和P^l Pg和Pl 。
3、Training Objective
三、实验
1、实验设置
(1)数据集:
PASCAL VOC(augmented with SBD dataset) 和 MS COCO。
在训练阶段,只使用image-level标签。评估指标使用mIoU。
(2)网络结构:
backbone使用ViT-base(ViT- B),初始化为ImageNet数据集上的预训练权重。这里的pos_embedding通过双线性插值的方法进行resize。
(3)实验细则:
crop size的大小:global view为 44 8 2 448^2 4482,local view为 9 6 2 96^2 962。除此之外,使用multi-crop和data augmentation策略。
2、实验结果
(1)Pseudo Labels的质量
可视化CAM:
评估Pseudo labels:
(3)消融实验分析: