图像分割的衡量指标详解
转载⾃：m.blog.csdn/u011771047/article/details/72777349
blog.csdn/u014593748/article/details/71698246?fps=1&locationNum=5
补充说明： 图像分割（Semantic Segmentation）
图像分割也是⼀项有意思的研究领域，它的⽬的是把图像中各种不同物体给⽤不同颜⾊分割出来，如下图所⽰，其平均精度（mIoU，即预测区域和实际区域交集除以预测区域和实际区域的并集），也从最开始的FCN模型（图像语义分割全连接⽹络，该论⽂获得计算机视觉顶会CVPR2015的最佳论⽂的）的62.2%，到DeepLab框架的72.7%，再到⽜津⼤学的CRF as RNN的74.7%。该领域是⼀个仍在进展的领域，仍旧有很⼤的进步空间。
⼀、为论⽂阅读笔记，不当之处，敬请指正。
A Review on Deep Learning Techniques Applied to Semantic Segmentation:
5.1度量标准
为何需要语义分割系统的评价标准？
为了衡量分割系统的作⽤及贡献，其性能需要经过严格评估。并且，评估须使⽤标准、公认的⽅法以保证公平性。
系统的多个⽅⾯需要被测试以评估其有效性，包括：执⾏时间、内存占⽤、和精确度。
由于系统所处背景及测试⽬的的不同，某些标准可能要⽐其他标准更加重要，例如，对于实时系统可以损失精确度以提⾼运算速度。
⽽对于⼀种特定的⽅法，尽量提⾼所有的度量性能是必须的。
5.1.1 执⾏时间
速度或运⾏时间是⼀个⾮常有价值的度量，因为⼤多数系统需要保证推理时间可以满⾜硬实时的需求。某些情况下，知晓系统的训练时间是⾮常有⽤的，但是这通常不是⾮常明显，除⾮其特别慢。在
硅藻泥排名某种意义上说，提供⽅法的确切时间可能不是⾮常有意义，因为执⾏时间⾮常依赖硬件设备及后台实现，致使⼀些⽐较是⽆⽤的。
然⽽，出于重⽤和帮助后继研究⼈员的⽬的，提供系统运⾏的硬件的⼤致描述及执⾏时间是有⽤的。这可以帮助他⼈评估⽅法的有效性，及在保证相同环境测试最快的执⾏⽅法。
5.1.2 内存占⽤
内存是分割⽅法的另⼀个重要的因素。尽管相⽐执⾏时间其限制较松，内存可以较为灵活地获得，但其仍然是⼀个约束因素。在某些情况下，如⽚上操作系统及机器⼈平台，其内存资源相⽐⾼性能服务器并不宽裕。即使是加速深度⽹络的⾼端图形处理单元（GPU），内存资源也相对有限。以此来看，在运⾏时间相同的情况下，记录系统运⾏状态下内存占⽤的极值和均值是及其有价值的。
5.1.3 精确度
图像分割中通常使⽤许多标准来衡量算法的精度。这些标准通常是像素精度及IoU的变种，以下我们将会介绍常⽤的⼏种逐像素标记的精度标准。为了便于解释，假设如下：共有k+1个类（从到，其中包含⼀个空类或背景），表⽰本属于类i但被预测为类j的像素数量。即，表⽰真正的数量，⽽则分别被解释为假正和假负，尽管两者都是假正与假负之和。
Pixel Accuracy(PA，像素精度)：这是最简单的度量，为标记正确的像素占总像素的⽐例。
Mean Pixel Accuracy(MPA，均像素精度)：是PA的⼀种简单提升，计算每个类内被正确分类像素数的⽐例，之后求所有类的平均。
Mean Intersection over Union(MIoU，均交并⽐)：为语义分割的标准度量。其计算两个集合的交集和并集之⽐，在语义分割的问题中，这两个集合为真实值（ground truth）和预测值（predicted segmentation）。这个⽐例可以变形为正真数（intersection）⽐上真正、假负、假正（并集）之和。在每个类上计算IoU，之后平均。
瓷砖品牌排名Frequency Weighted Intersection over Union(FWIoU，频权交并⽐)：为MIoU的⼀种提升，这种⽅法根据每个类出现的频率为其设置权重。
在以上所有的度量标准中，MIoU由于其简洁、代表性强⽽成为最常⽤的度量标准，⼤多数研究⼈员都使⽤该标准报告其结果。
直观理解
如下图所⽰，椭圆A代表真实值，椭圆B代表预测值。橙⾊部分为A与B的交集，即真正（预测为1，真实值为1）的部分，绿⾊部分表⽰假负（预测为0，真实为1）的部分，黄⾊表⽰假正（预测为1，真实
五一劳动节祝福语简短一句话为0）的部分，两个椭圆之外的⽩⾊区域表⽰真负（预测为0，真实值为0）的部分。表⽰绿⾊+橙⾊+黄⾊为A与B的并集。
MP计算橙⾊与（橙⾊与黄⾊）的⽐例。
MIoU计算的是计算A与B的交集（橙⾊部分）与A与B的并集（绿⾊+橙⾊+黄⾊）之间的⽐例，在理想状态下A与B重合，两者⽐例为1。
⼆、基础知识：
这部分是基础知识，熟悉的可直接跳过
如图所⽰，集合A：真实值；集合Ｂ：预测值。
针对预测值和真实值之间的关系，我们可以将样本分为４类：
真正值（TP）：预测值为1，真实值为1；橙⾊，A∩B
真负值（TN）：预测值为0，真实值为0；⽩⾊，~(A∪B)
假正值（FP）：预测值为1，真实值为0；黄⾊，B-(A∩B)
假负值（FN）：预测值为0，真实值为1；绿⾊，A-(A∩B)
# 为⽅便记忆，可以这样理解：
# TP：T（预测对了true） P(预测为正样本positive)；真的正值，说明被预测为正样本，预测是真的，即真实值为正样本
# TN：T（预测对了true） P(预测为负样本negative)；真的负值，说明被预测为负样本，预测是真的，即真实值为负样本
# FP：T（预测错了false）P(预测为正样本positive)；假的正直：说明被预测为正样本，但预测是假的，即真实值为负样本
# FN：T（预测错了false）P(预测为负样本negative)；假的负值，说明被预测为负样本，但预测是假的，即真实值为正样
召回率：正确率：
工商银行网上银行怎么开通针对预测样本⽽⾔，预测为正例的样本中真正正例的⽐例：
预测为正的有两种：
1、正样本被预测为正 TP
2、负样本被预测为正 FP
所以精确率：precesion = TP/(TP+FP) 其中分母预测为正样本数量。
中国电视好演员入围名单针对原来的样本⽽⾔，表⽰样本中有多少正例被预测正确了（预测为正例的真是整理占所有真实正例的⽐例）：
1、原来的正样本被预测为正样本 TP
2、原来的正样本被预测为负样本 FN
所以召回率为：racall = TP/(TP+FN) 其中分母表⽰原来样本中的正样本数量。
三、图像分割的衡量指标：
图像分割中通常有很多中衡量标准，也有很多中版本的pixel-accuracy 和IoU，这⾥我们介绍⽬前最常⽤的⼏种。为了⽅便解释，我们重述下定义：假设有k+1个类别（从到包括⼀个背景或者空类别）
为类别的像素被预测为类别的个数，换句话说，也就是就是被正确分类（TP）的像素个数，和通常被解释为FP和FN，尽管两者都是假正和假负之和。
像素精确度（pixel accuracy,PA）
这是最简单的指标，⽤来计算被正确分类的像素个数和总像素数之间的⽐例：
为了⽅便理解，展开的形式为：
其中，分⼦中的每⼀项均为各个类别正确分类的像素个数；分母中的每⼀个括号项中为预测为该类别的所有像素数，
因此之和为所有像素数（TP+(FN+FP)）。
平均像素精确度（Mean pixel Accuracy,MPA），这是在PA基础上做了微整提升，为类别内像素正确分类概率的平均值:
为了⽐较和PA的不同，展开：
这⾥的每⼀个加法项均为每个类别内部像素正确分类的⽐例，所有类别的正确分类概率之和最后取平均值。
平均交并⽐（Mean Intersection over Union,MIoU）
这是⼀个标准的衡量metric ，计算两个集合之间交集和并集的⽐例，在图像分割中，就是真实值（Ground Truth）和预测值两个集合。可以转换为TP（intersection）与TP ,FN ,FP之和（union）的⽐值。先计算每个类内的交并⽐，然后计算均值。
展开
对式中的每⼀个加法项是针对每⼀个类别进⾏计算平均交并⽐，其中分母中的第⼀项为真实值（GT）中该类的像素个数，第⼆项为预测值中预测为该类的像素个数，前两项中间存在⼀个交集：真实值中的也在预测值中，因此减去⼀个第三项。
对所有的类别分别求交并⽐，然后计算均值，即为MIoU.
加权交并⽐（Frequency Weighted Intersection over Union,FWIoU）
这是在MIoU上的基础上做稍微的提升，对每⼀个类根据出现的频率为其设置权重：
提车时如何验车 展开：
从第⼆个等号已经可以看出，乘法的第⼀个乘法因⼦的分母为全部的像素个数；乘法的第⼆项中每⼀项的分⼦中，第⼆个乘法因⼦表⽰在真实值中（GT），该类别（此处为0）的所有像素个数；
因此第三个等号整理后，两者的⽐例(当i为固定值时，此时为0)为该类像素在GT中出现的概率，乘法的后⼀项仍为MIoU中的类内交并⽐，因此只是在MIoU的基础上对每个类加了个权重，该权重为该类像素在GT中出现的⽐率。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论