图像分割的衡量指标详解
转载⾃:m.blog.csdn/u011771047/article/details/72777349
blog.csdn/u014593748/article/details/71698246?fps=1&locationNum=5
补充说明: 图像分割(Semantic Segmentation)
图像分割也是⼀项有意思的研究领域,它的⽬的是把图像中各种不同物体给⽤不同颜⾊分割出来,如下图所⽰,其平均精度(mIoU,即预测区域和实际区域交集除以预测区域和实际区域的并集),也从最开始的FCN模型(图像语义分割全连接⽹络,该论⽂获得计算机视觉顶会CVPR2015的最佳论⽂的)的62.2%,到DeepLab框架的72.7%,再到⽜津⼤学的CRF as RNN的74.7%。该领域是⼀个仍在进展的领域,仍旧有很⼤的进步空间。
⼀、为论⽂阅读笔记,不当之处,敬请指正。
A Review on Deep Learning Techniques Applied to Semantic Segmentation:
5.1度量标准
为何需要语义分割系统的评价标准?
为了衡量分割系统的作⽤及贡献,其性能需要经过严格评估。并且,评估须使⽤标准、公认的⽅法以保证公平性。
系统的多个⽅⾯需要被测试以评估其有效性,包括:执⾏时间、内存占⽤、和精确度。
由于系统所处背景及测试⽬的的不同,某些标准可能要⽐其他标准更加重要,例如,对于实时系统可以损失精确度以提⾼运算速度。
⽽对于⼀种特定的⽅法,尽量提⾼所有的度量性能是必须的。
5.1.1 执⾏时间
速度或运⾏时间是⼀个⾮常有价值的度量,因为⼤多数系统需要保证推理时间可以满⾜硬实时的需求。某些情况下,知晓系统的训练时间是⾮常有⽤的,但是这通常不是⾮常明显,除⾮其特别慢。在
硅藻泥排名某种意义上说,提供⽅法的确切时间可能不是⾮常有意义,因为执⾏时间⾮常依赖硬件设备及后台实现,致使⼀些⽐较是⽆⽤的。
然⽽,出于重⽤和帮助后继研究⼈员的⽬的,提供系统运⾏的硬件的⼤致描述及执⾏时间是有⽤的。这可以帮助他⼈评估⽅法的有效性,及在保证相同环境测试最快的执⾏⽅法。
5.1.2 内存占⽤
内存是分割⽅法的另⼀个重要的因素。尽管相⽐执⾏时间其限制较松,内存可以较为灵活地获得,但其仍然是⼀个约束因素。在某些情况下,如⽚上操作系统及机器⼈平台,其内存资源相⽐⾼性能服务器并不宽裕。即使是加速深度⽹络的⾼端图形处理单元(GPU),内存资源也相对有限。以此来看,在运⾏时间相同的情况下,记录系统运⾏状态下内存占⽤的极值和均值是及其有价值的。
5.1.3 精确度
图像分割中通常使⽤许多标准来衡量算法的精度。这些标准通常是像素精度及IoU的变种,以下我们将会介绍常⽤的⼏种逐像素标记的精度标准。为了便于解释,假设如下:共有k+1个类(从到,其中包含⼀个空类或背景),表⽰本属于类i但被预测为类j的像素数量。即,表⽰真正的数量,⽽则分别被解释为假正和假负,尽管两者都是假正与假负之和。
Pixel Accuracy(PA,像素精度):这是最简单的度量,为标记正确的像素占总像素的⽐例。
Mean Pixel Accuracy(MPA,均像素精度):是PA的⼀种简单提升,计算每个类内被正确分类像素数的⽐例,之后求所有类的平均。
Mean Intersection over Union(MIoU,均交并⽐):为语义分割的标准度量。其计算两个集合的交集和并集之⽐,在语义分割的问题中,这两个集合为真实值(ground truth)和预测值(predicted segmentation)。这个⽐例可以变形为正真数(intersection)⽐上真正、假负、假正(并集)之和。在每个类上计算IoU,之后平均。
瓷砖品牌排名Frequency Weighted Intersection over Union(FWIoU,频权交并⽐):为MIoU的⼀种提升,这种⽅法根据每个类出现的频率为其设置权重。
在以上所有的度量标准中,MIoU由于其简洁、代表性强⽽成为最常⽤的度量标准,⼤多数研究⼈员都使⽤该标准报告其结果。
直观理解
如下图所⽰,椭圆A代表真实值,椭圆B代表预测值。橙⾊部分为A与B的交集,即真正(预测为1,真实值为1)的部分,绿⾊部分表⽰假负(预测为0,真实为1)的部分,黄⾊表⽰假正(预测为1,真实
五一劳动节祝福语简短一句话为0)的部分,两个椭圆之外的⽩⾊区域表⽰真负(预测为0,真实值为0)的部分。表⽰绿⾊+橙⾊+黄⾊为A与B的并集。
MP计算橙⾊与(橙⾊与黄⾊)的⽐例。
MIoU计算的是计算A与B的交集(橙⾊部分)与A与B的并集(绿⾊+橙⾊+黄⾊)之间的⽐例,在理想状态下A与B重合,两者⽐例为1。
⼆、基础知识:
这部分是基础知识,熟悉的可直接跳过
如图所⽰,集合A:真实值;集合B:预测值。
针对预测值和真实值之间的关系,我们可以将样本分为4类:
真正值(TP):预测值为1,真实值为1;橙⾊,A∩B
真负值(TN):预测值为0,真实值为0;⽩⾊,~(A∪B)
假正值(FP):预测值为1,真实值为0;黄⾊,B-(A∩B)
假负值(FN):预测值为0,真实值为1;绿⾊,A-(A∩B)
# 为⽅便记忆,可以这样理解:
# TP:T(预测对了true) P(预测为正样本positive);真的正值,说明被预测为正样本,预测是真的,即真实值为正样本
# TN:T(预测对了true) P(预测为负样本negative);真的负值,说明被预测为负样本,预测是真的,即真实值为负样本
# FP:T(预测错了false)P(预测为正样本positive);假的正直:说明被预测为正样本,但预测是假的,即真实值为负样本
# FN:T(预测错了false)P(预测为负样本negative);假的负值,说明被预测为负样本,但预测是假的,即真实值为正样
召回率:正确率:
工商银行网上银行怎么开通针对预测样本⽽⾔,预测为正例的样本中真正正例的⽐例:
预测为正的有两种:
1、正样本被预测为正 TP
2、负样本被预测为正 FP
所以精确率:precesion = TP/(TP+FP) 其中分母预测为正样本数量。
中国电视好演员入围名单针对原来的样本⽽⾔,表⽰样本中有多少正例被预测正确了(预测为正例的真是整理占所有真实正例的⽐例):
1、原来的正样本被预测为正样本 TP
2、原来的正样本被预测为负样本 FN
所以召回率为:racall = TP/(TP+FN) 其中分母表⽰原来样本中的正样本数量。
三、图像分割的衡量指标:
图像分割中通常有很多中衡量标准,也有很多中版本的pixel-accuracy 和IoU,这⾥我们介绍⽬前最常⽤的⼏种。为了⽅便解释,我们重述下定义:假设有k+1个类别(从到包括⼀个背景或者空类别)
为类别的像素被预测为类别的个数,换句话说,也就是就是被正确分类(TP)的像素个数,和通常被解释为FP和FN,尽管两者都是假正和假负之和。
像素精确度(pixel accuracy,PA)
这是最简单的指标,⽤来计算被正确分类的像素个数和总像素数之间的⽐例:
为了⽅便理解,展开的形式为:
其中,分⼦中的每⼀项均为各个类别正确分类的像素个数;分母中的每⼀个括号项中为预测为该类别的所有像素数,
因此之和为所有像素数(TP+(FN+FP))。
平均像素精确度(Mean pixel Accuracy,MPA),这是在PA基础上做了微整提升,为类别内像素正确分类概率的平均值:
为了⽐较和PA的不同,展开:
这⾥的每⼀个加法项均为每个类别内部像素正确分类的⽐例,所有类别的正确分类概率之和最后取平均值。
平均交并⽐(Mean Intersection over Union,MIoU)
这是⼀个标准的衡量metric ,计算两个集合之间交集和并集的⽐例,在图像分割中,就是真实值(Ground Truth)和预测值两个集合。可以转换为TP(intersection)与TP ,FN ,FP之和(union)的⽐值。先计算每个类内的交并⽐,然后计算均值。
展开
对式中的每⼀个加法项是针对每⼀个类别进⾏计算平均交并⽐,其中分母中的第⼀项为真实值(GT)中该类的像素个数,第⼆项为预测值中预测为该类的像素个数,前两项中间存在⼀个交集:真实值中的也在预测值中,因此减去⼀个第三项。
对所有的类别分别求交并⽐,然后计算均值,即为MIoU.
加权交并⽐(Frequency Weighted Intersection over Union,FWIoU)
这是在MIoU上的基础上做稍微的提升,对每⼀个类根据出现的频率为其设置权重:
提车时如何验车 展开:
从第⼆个等号已经可以看出,乘法的第⼀个乘法因⼦的分母为全部的像素个数;乘法的第⼆项中每⼀项的分⼦中,第⼆个乘法因⼦表⽰在真实值中(GT),该类别(此处为0)的所有像素个数;
因此第三个等号整理后,两者的⽐例(当i为固定值时,此时为0)为该类像素在GT中出现的概率,乘法的后⼀项仍为MIoU中的类内交并⽐,因此只是在MIoU的基础上对每个类加了个权重,该权重为该类像素在GT中出现的⽐率。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论