最新公告
  • 欢迎光临数据科学与编程,我们是数据学科学兴趣交流小组立即加入我们
  • 目标检测中样本的正负难易

    近年来,很多文章对目标检测任务中前景背景不平衡问题的研究进展进行了综述,而忽视了样本的难易程度。实际上,目标检测中存在大量的易分样本,对训练也有着很大的影响。

    参考文献[1]分析了anchor-based和anchor free的不平衡特性,并将解决方案分为两组:抽样启发式法(sampling heuristics)和非抽样方案(non-sampling schemes),最后系统地回顾了现有的解决不平衡问题的方法,并对各种方法进行比较。

    与文献[1]不同的是,本文还分析难易样本选择的问题。
    目标检测中样本的正负难易
    1 Foreground-Background Imbalance Problem

    1.1  Imbalance in Anchor-Based One-Stage Detectors.

    基于Anchor的One-Stage Detector早代表包括SSD和YOLOv2在多个特征图上进行目标对象预测,在速度和精度取得了不错的均衡。然而,训练中前景样本与背景样本之间存在较大差距(例如∼100 vs.∼100k),即前景背景失衡。这种不平衡现象会阻碍检测器变得更加精确。RetinaNet,RefineDet,以及GHM探索解决不平衡的不同解决方案,产生更好的检测精度。

    1.2 Anchor-Free One-Stage Detectors.

    因为Anchor会引入多个超参数(例如尺度、纵横比)来确定形状,因此一些研究人员开始研究探索Anchor-Free模式。早期工作包DenseBox、YOLO和CornerNet,后续的研究可以分为两类:center-based(Foveabox、FCOS等)和point-based(Reppoints等)。一些两级方法也从Anchor-Free方法中汲取经验教训,例如GA-RPN。在实践中,无论center-based还是point-based的方法中的前景都只占图像的一小部分,而图像中的大部分是背景,因此,仍然存在着大量背景造成的不平衡点或区域,可被识别为前景-背景不平衡问题。
    1.3 Imbalance in Two-Stage Object Detectors.

    大多数Two stage目标检测算法首先由一个RPN生成一组稀疏的候选目标框,然后再通过卷积网络确定精确的边界框和类。类似于One stage目标检测器,不平衡问题也存在于Two stage目标检测器中。

    RPN阶段可以看作是基于锚点的二分类的One stage目标检测(即前景或背景),因此RPN通常存在极度不平衡;

    在RPN过滤了大量的背景测试之后,剩下的样本中仍然包含大量的背景示例(例如,前景到背景比率为∼1:10)。
    2 Hard-Easy Sample Imbalance Problem

    目标检测中大量的候选框,都是像下图一样的易分样本。而这些样本的损失值是比较低,但是由于数量不平衡,易分样本的数量太多,最终主导了总的损失。因此,训练过程应更关注困难样本。

    目标检测中样本的正负难易

    3 Solutions

    参考文献1将解决上述两个问题的解决方案分为两类:

    • 抽样启发法sampling heuristics,包括hard sampling 和 soft sampling;
    • 非抽样方案(non-sampling schemes),包括基于排名的损失函数(ranking-based loss functions)和无偏组成学习机制(unbiased learning mechanisms)。

    在本节中,我们将描述这些解决方案的细节。

    目标检测中样本的正负难易

    2.1 Sampling Heuristics
    从本质上讲,Sampling Heuristics 通过对 loss 或iou 等排序区分难易样本,通过对样本采样解决样本不平衡问题。
    2.1.1 Hard Sampling

    Hard Sampling选取一部分训练样本而忽略其他样本。

    (1)Mini-Batch Biased Sampling. 它被广泛应用于两阶段方法,通过预先定义的前景背景比fg/bg随机选择检查样本。这种方法忽视了难易样本的影响。

    (2)Online hard example mining(OHEM). 它更倾向于选择更难的样本(分类loss越大样本越难),训练中也需要额外的内存和更多的时间。主要流程是:首先计算出每个样本的分类loss, 然后按loss从高到低来排列每个样本,再为每张图片选择按照一定比例选择N个损失最高的样本作为Hard Examples。

    (3)IoU-Balanced Sampling. 这种方法认为背景具有更高的IoU往往是比较难的。它将IoU中间值(例如[0,0.5))平均分为K bins,然后在这些bins中随机选择样本。因此,IoU平衡采样节省了OHEM所需的额外损失计算。
    2.1.2 Soft Sampling

    与Hard Sampling不同的是,Soft Sampling没有样本会被丢弃,而是在训练阶段按比例缩放每个样本的贡献。

    【Focal Loss】(ICCV 2007)
    论文题目:Focal loss for dense object detection.
    交叉熵损失函数认为正负样本都是同等重要的,而Focal Loss重新对样本赋予不同的权值,从而使模型训练更加关注 hard examples。

    目标检测中样本的正负难易

    【GHM】(IAAA 2019)

    论文题目:Gradient harmonized single stage detector.
    这篇文章把样本不平衡转化为gradient norm分布的不平衡。梯度模长如下:

    目标检测中样本的正负难易

    其中  是模型预测的概率,是 ground-truth的标签,  的取值为0或1。因此,g越大则检测难度越大。
    为了解决gradient norm分部不均匀的问题,定义了梯度密度gradient density:梯度模长分布在每个bin中的样本个数,并引入了GHM-C loss,使得对gradient density较大的样本也进行抑制,如下图为Cross Entropy,Focal Loss和GHM-C的对比:

    目标检测中样本的正负难易

    GHM-C和Focal Loss都对easy example做了很好的抑制,而GHM-C在对very hard examples上有更好的抑制效果。

    【PISA】 (CoRR 2019)

    论文题目:Prime sample attention in object detection
    (1)Prime样本:PISA 方法发现影响目标检测训练的正样本主要是IOU较高的这些样本,而负样本则是分类得分较高的样本,并将这些样本称为prime样本;
    (2)IoU Hierarchical Local Rank (IoU-HLR):对正样本使用与gt的IoU进行排序;
    (3)Score Hierarchical Local Rank(Score-HLR):对负样本的计算Score并进行排序;
    这样就区分出prime样本,最后,通过PrIme Sample Attention对样本进行权值重标定,从而使得recall和precision都能够提升。
    2.2 Non-Sampling Schemes
    2.2.1 Ranking-Based Loss Functions
    【AP Loss】(CVPR 2019)
    论文题目:Towards accurate one-stage object detection with ap-loss.
    本文提出了使用基于 ranking task 的 AP-loss 来代替 classification task。

    目标检测中样本的正负难易

    【DR Loss】(CoRR 2019)

    论文题目:Improving Object Detection by Distributional Ranking.
    这篇文章则提出了另外一种解决思路:将分类问题转换为排序问题,从而避免了正负样本不平衡的问题。同时针对排序,提出了排序的损失函数DR loss,并给出了可求导的解。
    2.2.2 Unbiased Learning Mechanisms
    【ResObj】(CoRR 2019)
    论文题目:Residual Objectness for Imbalance Reduction
    借鉴YOLO的方法,在head部分同时引入Objectness subnet的分支,然后继续采用Residual Objectness 来处理第一个Objectness subnet的样本不平衡问题。以往的工作大都是sampling/reweighing,需要进行调参代,而Objectness subnet通过learning-based 的方法解决,自动学习样本的难易。

    目标检测中样本的正负难易

    【Sampling-Free】(CoRR 2019)

    论文题目:Is sampling heuristics necessary in training deep object detectors?
    论文则是提出了sample-free的机制,主要包含三种策略:
    1)偏置初始化以降低分类loss;
    2)引导损失函数权重通过回归loss来确定分类loss的调整比例;
    3)类别分数阈值自适应以采用对不同类别自适应的阈值来进一步提升模型效果。
    SamplingFree提供了一种调整回归loss和分类loss的比例新角度来解决正负难易样本的问题,我认为是一种偏向于通过统计方法总结的策略。
    3 总结

    下图汇总了样本不平衡和难易问题的解决办法,来自文献【1】。目标检测中的细节真的很多,但样本不平衡和难易问题是至关重要的一个。在设计anchor和anchor-free的检测器中,是不可忽略的一个问题。

    目标检测中样本的正负难易

    参考文献:
    [1] Chen J, Wu Q, Liu D, et al. Foreground-Background Imbalance Problem in Deep Object Detectors: A Review[C]//2020 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR). IEEE, 2020: 285-290.

    问答起飞
    如果你平时遇到任何困扰你已久、或面试中的遇到目标检测等相关问题,可以加群(扫码下方二维码,备注互助群,就会拉入群),告诉我们,统一记录在《Question List》中。尽力帮助大家解决难题,真正解决问题的那种!我们解决不了的,会在公众号内发起求助,尽力解决问题。
    目标检测中样本的正负难易
    目标检测中样本的正负难易
    本站上原创文章未经作者许可,不得用于商业用途,仅做学习交流使用,本站免责声明。转载请注明出处,否则保留追究法律责任的权利。《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
    数据科学与编程 » 目标检测中样本的正负难易

    发表评论

    • 52会员总数(位)
    • 310资源总数(个)
    • 32本周发布(个)
    • 1 今日发布(个)
    • 331稳定运行(天)

    提供最优质的博文资源集合

    立即阅览 了解详情