机器学习算法评估指标——2D 目标检测

发布于: 2020 年 06 月 01 日
机器学习算法评估指标——2D目标检测



目标检测是计算机视觉领域的传统任务,需要识别出图像上存在的物体,给出对应的类别,并将该物体的位置通过最小包围框(Bounding box)的方式给出。下面介绍2D目标检测任务的常用评价指标。

IoU(Intersection over Union)

  • 定义:交并比,两个矩形框交集的面积与并集的面积之比

  • 范围:0~100%

  • 用途:判断两个矩形框的重叠程度,值越高则重叠程度越高,即两个框越靠近

  • IoU 和 Overlap Rate 定义是完全相同的,只不过在检测任务中常写作IoU,在跟踪任务中常写作 Overlap Rate

IoU threshold

  • 定义:需要人为设定的IoU的阈值,高于该阈值的矩形框被认为是命中目标,反之则被认为未命中

  • 范围:0~100%

  • 用途:作为区分矩形框是否命中目标的指标,阈值越高则要求矩形框与真值重叠程度越高

TP,TN,FP,FN

正样本负样本判断为正TPFP判断为负FNTN

  • TP (True Positive,真阳性):检测器给出正样本,事实上也是正样本,即正确检测到目标

  • TN (True Negative,真阴性):检测器给出负样本,事实上也是负样本,即正确检测到非目标

  • FP (False Positive,假阳性):检测器给出正样本,事实上却是负样本,即误检测

  • FN (False Negative,假阴性):检测器给出负样本,事实上却是正样本,即漏检测

Precision

  • 定义:精确度(查准率),表示检测器给出所有正样本中正确的百分比

  • 计算:Precision = 检测器正确检测的正样本个数/检测器给出的所有正样本个数 = TP/(TP + FP)

  • 范围:0~100%

  • 用途:用于评估检测器在检测成功基础上的正确率

Recall

  • 定义:召回率(查全率),表示真值给出的所有正样本中被检测器检测到的百分比

  • 计算:Recall = 检测器正确检测的正样本个数/真值给出的所有正样本个数 = TP/(TP + FN)

  • 范围:0~100%

  • 用途:用于评估检测器对所有待检测目标的检测覆盖率

PR曲线

  • 定义:Precision-Recall曲线,即以Precision为纵坐标、Recall为横坐标所作的曲线

  • 绘制:选取不同的confidence阈值,可以在PR坐标系上得到不同的点,连接这些点即可获得PR曲线

  • 用途:用来评估模型性能。Precision值和Recall值越大越好,所以PR曲线越往右上角凸越好。

AP(Average Precision)

  • 定义:平均精度,即PR曲线下的面积

  • 范围:0~100%

  • 用途:用来衡量算法在单个类别上的平均精度。AP值越高,表示对这个类别的检测精度越高。

  • 计算:11点插值法和所有点插值法

  • 11点插值法:VOC2010以前,选取当Recall >= 0, 0.1, 0.2, ..., 1共11个点时的Precision最大值,AP是这11个Precision的平均值,此时只由11个点去近似PR曲线下面积。

  • 所有点插入法:从2010年开始,PASCAL VOC计算AP的方法发生了变化,使用所有点插入法而不是11个等间隔点插入了

在这种情况下,不再使用仅在几个点上观察到的precision,而是通过对每个precision进行插值来获得AP。这样,我们可以估计曲线下的面积。

mAP(Mean Average Precision)

  • 定义:平均精度均值,即多个类别的AP的平均值

  • 范围:0~100%

  • 用途:用来衡量算法在所有类别上的整体精度表现。mAP值是目标检测算法最重要的评估指标之一。

f-measure

  • 定义:Precision和Recall的加权调和平均值

  • 计算:

fβ-measure = ( β^2 + 1 ) * P * R / ( β^2 * P + R ) 当 β = 1 时,即为 f1-measure: f1-measure = 2 * P * R / ( P + R )

  • 范围:0~100%

  • 用途: Precision和Recall在一般情况下是互斥的,即Precision越高,Recall越低。f-measure用于为两者给出一个综合评判。

FPPI(False Positive Per Image)

  • 定义:每张图片的误检数,相比precision和recall更加直观

  • 用途:评估平均误检数



发布于: 2020 年 06 月 01 日 阅读数: 26
用户头像

不懂技术的BP不是好市场 2020.05.27 加入

产品和技术的BP,懂点技术,会写文案。愿意分享

评论

发布
暂无评论
机器学习算法评估指标——2D目标检测