最新公告
  • 欢迎光临数据科学与编程,我们是数据学科学兴趣交流小组立即加入我们
  • 图像篡改检测方法总结

    1 图像篡改检测类型介绍
    在篡改技术中,拼接(splicing),复制移动 (copy-move) 和擦除填充 (removal) 是最常见的操作。
    • 图像拼接是指真实图像中复制区域并将其粘贴到其他图像;
    • 复制移动是指复制并粘贴到同一图像中的区域;
    • 擦除填充操作是指会从真实图像中消除区域,然后进行修补。
    人类在识别复制移动方面可能比检测剪切粘贴和擦除填充更好。这是因为在复制移动图像中,人眼可以感觉到类似物体的重复。对于剪切粘贴和擦除填充图像,人类在很大程度上依靠寻找明显的边缘不连续和照明不一致来确定是否发生了篡改。

    因此,当在经过良好篡改的图像中视觉上看不到不一致之处时,人类将无法检测到篡改。之前传统的图像处理方法提出了探索边缘不连续和照明不一致性的算法,以协助并超越人类在篡改检测任务中的能力。

    图像篡改检测方法总结
    2 图像篡改区域定位方法
    近年来,随着深度学习技术的不断发展,它们也在图像篡改检测领域实现突破,准确率大幅提升。当前深度学习的图像篡改区域定位方法主要有以下三种方向:
    1. 将篡改区域定位认为是像素级的二分类,采用图像分割的算法来定位篡改区域。
    2. 将篡改区域定位当作是目标检测任务,采用目标检测算法来定位篡改区域。
    3. 将篡改区域定位当作是局部异常检测,采用CNN + LSTM网络检测图像中的局部异常。

    接下来为大家带来近年来这三个方向具有代表性的图像篡改区域定位方法。

    Image Splicing Localization using a Multi-task Fully Convolutional Network (MFCN)
    发表在Journal of Visual Communication and Image Representation  ,影响因子:2.45
    论文:https://arxiv.org/pdf/1709.02016.pdf
    类型:拼接攻击
    方法:作者提出了一种利用完全卷积网络(FCN)定位图像拼接攻击的技术。采用 Multi-task FCN,该方法有两个分支,一个用于学习像素是否发生篡改的标签信息,另一个用于学习篡改区域边界信息。最后学习出篡改区域和篡改边界,通过将篡改边界围成的区域进行填充,将填充后的区域和检测的篡改区域取交集就是最终的结果了。
    图像篡改检测方法总结
    实验结果:

    MFCN 将CASIA V2.0作为训练集然后在 CASIA V1.0 和 Columbia 数据集上测试,指标:F1-Score

    图像篡改检测方法总结
    图像篡改检测方法总结
    简评:MFCN 采用了多任务全卷积的方式,创新之处在于提出学习同时学习篡改区域和篡改边界,增加篡改区域的准确性,作者在文中也提出这个方法的问题,那就是篡改图像JEPG压缩后篡改的边缘特征会被影响,因此该方法不能很好的抵抗JEPG压缩攻击,还有一个缺点就是没有代码,复现难度较高。其突出点是 MFCN 在 CASIA v1.0 取得了相当高的成绩 0.5410。
    BusterNet: Detecting Copy-Move Image Forgery with Source/Target Localization
    发表在:ECCV 2018
    论文:https://openaccess.thecvf.com/content_ECCV_2018/html/Rex_Yue_Wu_BusterNet_Detecting_Copy-Move_ECCV_2018_paper.html
    代码:https://github.com/isi-vista/BusterNet
    类型:copy move

    方法:BusterNet是一种端到端的可训练的深度神经网络解决方案。它具有两分支架构,第一个分支是图像篡改检测分支Mani-Det是一种分割网络用于检测出图像的篡改区域,第二个分支是相似度检测分支Simi-Det 将图片特征提取为16*16*256 的特征图,特征图的每个通道通过自相关模块计算特征相似度,通过百分比池收集有用的统计数据,上采样该功能使用Mask Decoder映射到原始图像大小。

    图像篡改检测方法总结

    实验结果:仅对copy-move数据集做了测试,选择CASIA数据集中copy move 攻击的部分构建新的数据集称为CASIA CMFD 进行测试。

    图像篡改检测方法总结
    简评:BusterNet方法的改进更多的是体现在增加了相似检测器,检测出图片的各个区域的相似度,这种方式确实有效,但是这种方法最大的局限就是只能针对Copy-Move方式,对于其他的的攻击方式相似度检测器反而会干扰结果的准确性。还有就是因为这种局限其实验结果较难与其他方法作比较。
    Learning Rich Features for Image Manipulation Detection
    发表在:CVPR 2018
    论文:https://arxiv.org/abs/1805.04953
    代码:https://github.com/LarryJiang134/Image_manipulation_detection
    类型:拼接、移除

    方法:提出了一种双流的Faster R-CNN网络,给定manipulated image,对其进行端到端的训练,以便检测被篡改的区域。双流分别为RGB stream、noise stream。其中,RGB stream主要目的是从RGB图像输入中提取特征,从而发现篡改区域强烈对比差异,非自然的篡改边界等之类的tampering artifacts。Noise stream 主要利用噪声特征去发现在真实区域和篡改区域之间的噪声不一致性,噪声特征是从steganalysis rich model filter layer中提取的。之后,通过bilinear pooling layer融合两个流的特征,以便进一步结合这两种模态的空间信息。

    图像篡改检测方法总结

    实验结果:CASIA 2.0作为训练集 CASIA1.0作为测试集。

    图像篡改检测方法总结

    图像篡改检测方法总结

    简评:该方法利用篡改区域与原图噪声不一致的线索,提出了双流Fast RCNN,这种方法的优势在于其具有很好的鲁棒性,这是由于当篡改者利用JEPG压缩或者resize隐藏时,噪声不一致的线索会更加突显出来,因此其具有很好的鲁棒性和抗干扰的能力。作者在文中分享了这一方法的局限也就是在复制移动的篡改方式下表现不太好,其原因有两个方面,首先,复制的区域来自同一张图像,这产生了相似的噪声分布,从而混淆了的噪声流。并且,两个区域通常具有相同的对比度。

    RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection
    发表在:CVPRW 2019
    论文:https://ieeexplore.ieee.org/document/9025485
    代码:https://github.com/yelusaleng/RRU-Net
    类型:拼接
    方法:作者基于 U-Net 提出了一种环状残差网络 RRU-Net 用于图像拼接伪造检测。RRU-Net 是一个端到端的图像本质属性分割网络,无需任何预处理和后处理即可完成伪造区域检测。RRU-Net 的核心思想是加强 CNN 的学习方式,并由CNN中残差的传播和反馈过程实现。残差传播调用输入的特征信息以解决更深层网络中的梯度退化问题;残差反馈合并输入特征信息,使未篡改区域和篡改区域之间的图像属性差异更加明显。
    图像篡改检测方法总结
    实验结果:RRU-NET 在 CASIA1.0 和 COLUMB 两个伪造图像数据集上的实验结果,CASIA 1.0 包括的篡改方式有拼接和复制粘贴攻击方式,但是本文只选取了其中的拼接攻击方式的数据集。COLUMB 是只包含拼接攻击的数据集。
    图像篡改检测方法总结
    简评:RRU-Net的主要创新体现在 Ringed Residual Structure,与其它方法不同是 RRU-Net 不直接设置检测伪造图像痕迹的特征,而是通过 residual feedback 机制让 CNN 自己去学习图片属性的差异特征,属于一种强化 CNN 学习的方法,并且经过实验证明了这种利用残差反馈方式自动学习图片属性差异的特征是有效的。
    ManTra-Net: Manipulation Tracing Network For Detection And Localization ofImage Forgeries With Anomalous Features
    发表在CVPR2019
    论文:https://openaccess.thecvf.com/content_CVPR_2019/html/Wu_ManTra-Net_Manipulation_Tracing_Network_for_Detection_and_Localization_of_Image_CVPR_2019_paper.html
    代码:https://github.com/ISICV/ManTraNet
    类型:拼接、移除、复制粘贴

    方法:作者提出了一个不需要额外的预处理和后处理的篡改检测网络ManTra-Net。此网络是一个全卷积网络,可以处理任意尺寸的图像和多种篡改类型。主要的贡献在于用一个自监督学习的方式从385篡改类型中学习特征。并且将篡改定位问题当做一个局部异常点检测问题来解决。使用Z-score特征表示局部异常,使用long short-term memory solution进行评估。

    图像篡改检测方法总结
    实验结果:CASIA 2.0作为训练集 CASIA1.0作为测试集。
    图像篡改检测方法总结
    简评:ManTra-Net 的创新之处在于设计了一个简单而有效的自我监督学习任务,以通过对385种图像操作类型进行分类来学习强大的图像操作轨迹。此外,我们将伪造定位问题公式化为局部异常检测问题,设计Z分数功能以捕获局部异常。ManTra-Net的优点主要在于它对于绝大多数的篡改攻击方式的有效果,因为它利用了自监督学习篡改的类型,因此有效的检测多种篡改方式,并且具有不错的鲁棒性,可以说是每个方式都有优势,但单独一种方式下不一定是最优的方法。
    本站上原创文章未经作者许可,不得用于商业用途,仅做学习交流使用,本站免责声明。转载请注明出处,否则保留追究法律责任的权利。《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
    数据科学与编程 » 图像篡改检测方法总结

    发表评论

    • 52会员总数(位)
    • 320资源总数(个)
    • 25本周发布(个)
    • 3 今日发布(个)
    • 333稳定运行(天)

    提供最优质的博文资源集合

    立即阅览 了解详情