最新公告
  • 欢迎光临数据科学与编程,我们是数据学科学兴趣交流小组立即加入我们
  • 目标检测中的Feature Alignment

    目标检测中的Feature Alignment
    目标检测算法中,feature map和anchor的对齐问题是普遍存在的,具体表现为以下三个方面:

    (1)同一个感受野对应多个anchor:对于feature map上的任意一个点,其感受野是相同的,但却对应了多个大小不同的anchor。

    (2) one-stage目标检测算法直接使用未修正的特征:在two-stage的目标检测算法中,RPN提取proposal后,通过roi-pooling或者roi-align在feature map上对应的的位置提取特征,这个时候新的特征和对应的proposal是对齐的。而在One-stage的目标检测算法中,因为只有一级,所以仍然使用原来的feature用于分类。因而存在anchor 和 feature 的位置对齐的问题。

    (3)遮挡场景中特征不对齐:真实场景中可能会出现遮挡的情况,而遮挡物会生成过高的得分区域,从而抑制了周围的被遮挡目标的得分区域。如下图所示。

    目标检测中的Feature Alignment

    1 相关研究

    对于Feature Alignment第一种不对齐,AlignDet这篇文章以Faster RCNN和RetinaNet的对比实验为例做了一些实验,结果如下图所示。Faster RCNN去掉FPN后,仅在C4上铺置anchor,AP仅下降2%,而RetinaNet如果仅在P4上回归所有的anchor,下降了12个点。说明one-stage中的不对齐的问题是非常明显的,而FPN是有助于缓解对齐这个问题的。

    目标检测中的Feature Alignment

    而第二种不对齐的相关研究,大概从CVPR 2018 的RefineDet开始,就出现了很多讨论disalignment 问题的文章,但大都采用在refinement和cascade的思路,即:预定义的 anchors 作为第一阶段的输入,然后加入回归偏移量来生成新的边框,作为下一阶段的输入。相关的论文如下。
    (1)【CVPR 2018】RefineDet
    论文题目:Single-Shot Refinement Neural Network for Object Detection
    论文链接:https://arxiv.org/abs/1711.06897

    RefineDet引入了ARM模块,用于在移除负样本anchors以便为分类器减少搜索空间,并粗略调整 anchors 的位置和大小,以便为随后的回归器提供更好的初始化结果。

    (2)【arXiv 2019】Consistent Optimization
    论文题目:Consistent Optimization for Single-Shot Object Detection
    论文链接:https://arxiv.org/abs/1901.06563
    思路很直接,就是在从default anchor得到refine anchor以后,对于refine的anchor,还会再来一次bounding box regression。如下图所示, A1之后要进行iou计算,与GT做match,生成C2、A2,再做一次推理。而优化目标上也加入了回归后的anchor。

    目标检测中的Feature Alignment

    (3)【BMVC 2019】Cascade RetinaNet

    论文题目 :Maintaining Consistency for Single-Stage Object Detection
    论文链接:https://arxiv.org/abs/1901.06563

    通过引入FCM,也是利用deformable convolution 将original特征修正至新的位置。

    目标检测中的Feature Alignment

    (4)【CVPR 2019】GA-RPN

    论文题目:Region Proposal by Guided Anchoring
    论文链接:https://arxiv.org/abs/1901.03278
     GA-RPN的核心有2个部分。第一部分是Anchor generation,用于预测这个位置是否是物体的中心,和以这个位置为中心的anchor的长和宽,也就是位置预测和形状预测。第二部分是Feature adaptation,用于解决anchor和其对应的feature不对齐的问题。先利用一个 3×3 的 deformable convolution 来修正原始的特征图,而 deformable convolution 的 offset 是通过 anchor 的 w 和 h 经过一个 1×1 conv 得到的。通过这样的操作,达到了让 feature 的有效范围和 anchor 形状更加接近的目的。

    (5)【arXiv 2019】AlignDet

    论文链接:Revisiting Feature Alignment for One-stage Object Detection
    论文链接:https://arxiv.org/abs/1908.01570
    通过了数学形式上的推导,引入了RoIConv,等效了RoIAlign,从而实现了修正特征图的目的。

    目标检测中的Feature Alignment

    对于第三种不对齐,SAPD[1]通过对anchor points做软加权,就是label assign的进行优化,减少对靠近边界包含大量背景信息的锚点的关注。将目标实际位置与anchor的中心的距离作为一个anchor的惩罚权重,加入到损失函数的计算中(仅针对正样本,负样本不做改动)。公式如下:

    目标检测中的Feature Alignment

    其中,η控制递减幅度,权重范围为0~1,公式保证了目标边界处的points权重为0,目标中心处的 ponit 权重为1。

    目标检测中的Feature Alignment

    2 写在最后

    第一类Feature Alignment其实还可以通过context module等粗暴优化方法,而第二类Feature Alignment是one stage和two stage检测器之间性能差异的一个很重要的原因,也是one stage检测器一个缺陷。这两类不对齐是anchor box先验带来的,而在anchor point类的方法中,就不是那么明显。第三类不对齐是和场景有关的,是不可避免的。
    参考文献:
    [1] Zhu C, Chen F, Shen Z, et al. Soft anchor-point object detection[J]. arXiv preprint arXiv:1911.12448, 2019.
    本站上原创文章未经作者许可,不得用于商业用途,仅做学习交流使用,本站免责声明。转载请注明出处,否则保留追究法律责任的权利。《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
    数据科学与编程 » 目标检测中的Feature Alignment

    发表评论

    • 53会员总数(位)
    • 322资源总数(个)
    • 20本周发布(个)
    • 3 今日发布(个)
    • 334稳定运行(天)

    提供最优质的博文资源集合

    立即阅览 了解详情