我的网站

弱监督论文笔记:操纵深度栽子区域增进的弱监督语义分割框架

2022-01-16 20:06分类:铂菲医美 阅读:

本文为原创,转载须注解。

1. 背景与简介

深度学习是近年来图像语义分割领域最炎门的手法,它始末从大量的数据中学习数据的特征和模式来完善分割责任。目下的基于深度学习手法大众操纵的是像素级别的标签对全卷积神经网络模型进走训练,即制作标签时必要对每个像素进走分类,这栽方式称为有监督学习。毫无疑问,像素级别的标签的获取是专有的费时费力,因此弱监督学习的手法逐步受到钻研人员的关注。弱监督学习是指为了完善某个计算机视觉责任,采用比该责任更弱的标注举动监督音讯。

这篇文章的思路来自于传统图像分割中的“区域生息法”,即师长教师成各个类别的栽子点,然后对栽子点进走扩充完善图像分割。这儿作者挑出了一个深度栽子区域生息的模块,运用卷积神经网络分割得到的概率图谱和区域生息法进走结相符来进走栽子点的生息,并始末迭代的手法来逐步挑高分割的凶果。

2. 论文手法:

论文流程图

论文手法的流程图如上图所示,开首始末CAM这个经典的手法来得到小批粗糙的各个类别的分割了局,举动栽子点。之后运用深度栽子区域增进DSRG模块来运用神经网络输出的概率图谱对栽子点进走扩充,之后运用扩充后的了局来计算seed loss,促使网络往学习扩充后的label,同时运用CRF计算boundary loss进一步优化分割了局。迭代这个过程,直到未标注的点全数被标注,得到着末的分割了局。

论文的职业紧急包括loss和DSRG两个贡献。

2.1 Loss

loss由两片面构成,seed loss和boundary loss.

细致的是:loss的计算只考虑已经标注的点

2.1.1 Seed loss

该loss紧急是衡量label中栽子点对于所属类别的信赖度。

每个栽子点所属的类别没关系由DSRG输出的label得到,属于该类别的概率则可由网络输出的概率分布得到。

细致的是,前景和背景的栽子点的数目区别,大略迥异很大,导致不屈衡,从而对学习的过程有影响,因此必要一个均衡。作者的做法是将前景和背景的栽子点的了局的和除以该类别的栽子点的个数(前景(背景)每个栽子点属于其类别的对数概率的和除从前景(背景)栽子点个数)。即一个balanced loss.

公式如下:

Seed Loss计算方式

​ C 代外前景类别聚积 ​ C^- 代外背景类别 ​ S_c 代外被分类为该类的栽子点 ​ H_{u,c} 外示模型输出​位置u属于c类的概率

操纵类别栽子亏损函数的全卷积神经网络在训练时,栽子区域很是于有监督学习,而非栽子区域则在损左计算的时候被渺视。网络学习的主意就是保证栽子点属于它对答的类别标签的概率尽大略高,云云不妨让网络充沛学习栽子点的特征模式,从而不妨区分出与栽子点特征相近的未标注的像素点,并为它在栽子点所属的类别上预计出较高的概率,使其始末深度栽子区域算法得到标签。

为什么 seed loss可走?

开起只有小批栽子点举动label,loss抑遏的也是这些栽子点。始末学习这些点的数据特征来对未分类的点进走分类。同时由于卷积核的特点,网络学习到的片面特征也能影响对栽子点范畴未分类点的学习。

2.1.2 Boundary loss

用来抑遏分割了局的边界,防止栽子区域超过原图像中主意的边界,即太过增进。从而来获得更加紧密的分割了局。

2.2 DSRG

2.2.1 DSRG = DCNN + SRG

在分割框架中,卷积神经网络的初起训练标签是由CAM生成的栽子区域标签,这些标签是疏落疏松的,不能以将网络训练充沛。因此必要对些标签延续更新和扩充,才能已足网络对监督音讯的需求。论文操纵了深度栽子区域增进算法,以以现有栽子区域为基础,基于卷积神经网络获得的区别构造类别概率,更新栽子区域。

区域增进的一个遵从是将栽子点范畴与其一样的点接纳栽子点肖似的类别标签,传统的一样度量准则是运用灰度等图像特征,而这儿的DSRG操纵的是模型输出的类别分布概率。深度栽子区域生息算法的灵感来源于传统的栽子区域生息算法。栽子区域生息算法始末手动或基于一些浅近的规则选定图像中的栽子点后,操纵图像的一些矬级别的特征(如颜色、纹理等)举动一样性度量将栽子点范畴的点相符并到目下区域,云云的栽子生息过程直到一切的点都有了归属且区域之间也不再相符并。由于待分割主意在图像中具有空间不停性,因此主意中像素点范畴的像素点也很有大略属于这个主意。栽子区域生息算法运用了这个性质对初起疏落的栽子点进走扩充,使得图像中其他未被标注的点也获得了标签。深度栽子区域生息算法将传统的栽子区域生息算法集成到全卷积神经网络的分割框架中,操纵全卷积神经网络学习到的高级别语义特征举动一样性度量来扩充栽子区域。高级别语义特征更加鲁棒,不妨有效缓解传统栽子区域生息算法存在的过分割题目。

对栽子点的领域进走扩展,伪设属于某个类的概率大于阈值,则标注为该类。

DSRG 增进规则

细致:前景和背景的阈值建树区别。

在实验中,必要对前景和背景建树区别的概率阈值,由于全卷积神经网络对于前景像素点和背景像素点学习的难易水平区别,背景像素点颜色同一为暗色,较和缓被识别,而前景像素点灰度不均匀且特征各异。因此网络分割背景像素点的信赖度会比较高,因此必要比较大的概率阈值。

遍历规则:

1.选择类别 i , (从第0类(背景)到第 c 类)

2.按走遍历栽子点,选择栽子点范畴八邻域的未标注的点,伪设i类的概率大于域值,则将该点标注为类 i 。

3.伪设当次栽子点得到了扩充,那么再履走一次2来标注新的栽子点范畴的未标注的点。

迭代1,别致一切类别都遍历完。

注:实际代码中操纵连通域的想法来降矬计算量。

3. 实验设计

3.1 数据集:

PASCAL VOC 2012:training samples(1464) validation (1449) testing samples(1456)

COCO:training samples 80k validation samples 40k

3.2 网络设计:

base卷积神经网络:Deeplab-ASPP

3.3 超参数建树:

SGD(momentum: 0.9 weight decay: 0.0005)

Batch_size: 20

DropOut rate: 0.5

Learning rate: 5e-4 (and it is decreased by a factor of 10 every 2000 iterations)

DSRG: 背景阈值:0.99 前景阈值:0.85

论文手法的分割了局

3.4 对比实验设计:

与其他 state-of-the-art 的弱监督语义分割手法对比。延续补充模块(balanced seeding loss、DSRG)的凶果的升迁。迭代过程平分割凶果的升迁。

4. 对小俺的启发

在医学图像中,CAM无法直接操纵,且Boundary loss凶果大略欠安。不妨操纵其他手法替代CAM获得妥当的栽子点并重新构建分割框架。

郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!

上一篇:压哨:十二点讲故事

下一篇:烟台有哪些合法夏季玩耍的地方?

相关推荐

返回顶部