最新公告
  • 欢迎光临数据科学与编程,我们是数据学科学兴趣交流小组立即加入我们
  • 图像篡改检测:ManTra-Net

    论文链接:https://ieeexplore.ieee.org/document/8953774

    代码:https://github.com/ISICV/ManTraNet
    之前介绍了两篇篡改检测的方法,但是它们都有一个共同的问题就是能检测的篡改攻击方式较为单一(如拼接、复制移动),但是在现实生活中的伪造更为复杂,恶意伪造者经常使用一系列操作来隐藏伪造。今天我们介绍的方法 ManTra-Net 可以能够检测多种篡改方式拼接,复制移动,删除,增强甚至未知类型。ManTra-Net是一种图像篡改检测的新颖解决方案,它通过识别局部异常特征来检测伪造的像素,因此不限于特定的伪造或操纵类型。效果图如下:
     

    图像篡改检测:ManTra-Net

    图像篡改检测:ManTra-Net

    图像篡改检测:ManTra-Net图像篡改检测:ManTra-Net
    01
    ManTra-Net 

    作者提出了一个不需要额外的预处理和后处理的篡改检测网络ManTra-Net。此网络是一个全卷积网络,可以处理任意尺寸的图像和多种篡改类型。主要的贡献在于用一个自监督学习的方式从385种篡改类型中学习特征。并且将篡改定位问题当做一个局部异常点检测问题来解决。使用Z-score特征表示局部异常,并使用long short-term memory solution进行评估。

    图像篡改检测:ManTra-Net

    图像篡改检测:ManTra-Net图像篡改检测:ManTra-Net

    02
    网络结构
    图像篡改检测:ManTra-Net
    上图是ManTra-Net的网络结构, ManTra-Net 由两个子网组成,即image manipulation-trace feature extractor(图像篡改痕迹特征提取器)用于提取篡改特征和 the local anomaly detection net-work(局部异常检测网络)用于定位篡改区域。

    2.1 Image manipulation-trace feature extractor

    图像篡改检测:ManTra-Net

    Image manipulation-trace feature extractor 的结构是三种类型的卷积核卷积,然后进行特征堆叠,然后是一个全卷积网络,作者在卷积核和全卷积网络的选择上做了充足的实验。
     
    1、首先在First block 采用了 Conv2D、BayarConv2D、SRMConv2D 三种卷积核,
    (1)Conv2D 就是普通的卷积层
    (2)BayarConv2D 是一种约束卷积层,在2018年 Bayar 出了一种约束卷积层的方式,可以抑制图像内容对篡改痕迹的影响,自适应提取图像的篡改特征。约束卷积层的卷积核做出了限定:卷积核中心权值被设置为1,其余权值之和限定为-1,其公式表示如下:

     

    图像篡改检测:ManTra-Net

     

    这种限定使网络自适应可以学习到一个类似高通滤波器的卷积核。
    (3)SRMConv2D 隐写分析的模型滤波器,利用SRM层提取的噪声特征来发现真实和篡改区域之间的噪声不一致,在上一篇图像篡改检测有详细介绍,卷积核如下:

     

    图像篡改检测:ManTra-Net

    作者经过消融实验证明,这将RGB图像分别经过这三种卷积层,然后进行特征的堆叠可以实现最好的效果。实验结果如下:

     

    图像篡改检测:ManTra-Net

     

    2、在 Middle blocks 和 Last block也就是Image manipulation-trace feature extractor的网络主干,作者选择了全卷积网络作为网络的主干,这是由于全卷积网络对输入图片的size没有要求,也就意味这不需要对图片进行resize,图片经过 resize 会减小图像的篡改痕迹。作者对VGG、 ResNet 和自己设计的网络DnCNN进行实验。经过实验证明VGG的效果最好,因此主干网络选择VGG。
     

    图像篡改检测:ManTra-Net

    3、为了使 Image manipulation-trace feature extractor 更加具有鲁棒性和提取的特征更加有效,作者进行了更多精细的图像篡改操作类型。具体来说,将篡改操作逐层分类(总共5层),直到它们是单独的算法为止。例如,将模糊族细分为高斯模糊,框模糊,小波去噪和中值滤波。然后,通过指定算法参数(例如,高斯模糊)进入更精细的级别。最终细分为了385种操作类型和更多不同类型的操作,并对已有特征进行组合,形成了一个更加鲁棒、通用的特征,经过训练网络可以识别出385种特定类型的篡改方式
     

    图像篡改检测:ManTra-Net

    从表中看出,47.3%的准确率在385类的分类上,这个准确率有点低,所以作者提出在这个baseline上面改进:(1)使得网络更宽,(2)加深网络。最后获得的最好的准确率是51.8%。以上就可以获得了可以提取图像被篡改了的特征的网络。

    2.2 Local Anomaly Detection Network

    图像篡改检测:ManTra-Net

    ManTra-Net 将图像篡改区域定位转化为局部异常检测问题,以提高模型的通用性,将局部特征与其引用到伪造标签之间的差异中学习决策函数映射。简单来说就是模仿了人判断图像区域是否篡改的方式:首先能找到能够代表未篡改图的特征,然后求篡改部分与未篡改图的特征之差。
    Local Anomaly Detection Network这一块分为三部分:
    1. Aaptation:首先将前一步IMC分类网络提取的篡改特征对进行一些处理使其适用于异常检测网络。
    2. Anomalous Feature Extraction:异常特征提取,这部分是 LADN 主要内容后面会详细讲解。
    3. Decision:基于Anomalous Feature Extraction提取的异常特征判断一个像素是否是篡改的

     

    Anomalous Feature Extraction

    对于给定一张发生篡改的图片,一个人是如何判断这张图片的哪些经过了篡改,一般来说是先识别出一张图像的主要特征,然后将局部区域的特征与主要特征对比如果不一致的就是异常的。
    在论文中,作者按照这样的思路,讨论了什么是主要特征、如何计算,如何量化局部特征和主要特征之间的差异。
    (1)作者将 Image manipulation-trace feature extractor 提取的特征图的全局平局值作为主要特征以此作为参考。
    图像篡改检测:ManTra-Net
        F[i, j] 是特征图在位置(i,j)的大小,将全图特征值求和除上面积H*W
    (2)将特征图上的每个点与主要特征相减获得局部与全局的差异。
    图像篡改检测:ManTra-Net
    (3)为了更加通用,作者对差异特征又进行了标准化定义了Z-Score
    图像篡改检测:ManTra-Net

     

    式中的σF是标准差,也就是等于下面这个公式:

    图像篡改检测:ManTra-Net

            实际使用时,作者用σ*F 代替 σF

    图像篡改检测:ManTra-Net

            其中是一个Wσ可学习的非负权重向量,与  σF长度相同。

     

    经过上述编码后特征ZF能够表示了局部特征和全局特征之间的差异,但是这样做也有一个缺陷那就是当图像中的篡改区域面积大于真实区域时, 主要特征失效无法表示真实图像的真实特征因此ZF也一起失效了。为了解决这个问题,作者提出的做法就是采用以局部窗口为单位,如果不能排除来自其他篡改区域的影响,就减少它的影响,所以,作者计算了多个窗口区域大小为n*n的主要特征值UF(i, j)(n*n)和对应 (i,j)位置的特征值与窗口主要特征的差异。

    图像篡改检测:ManTra-Net

     

    关于n的选取,作者没有给出一个具体的数字,而是选取了多个不同的n值,计算了一系列的Z-score特征。

    图像篡改检测:ManTra-Net

    上面的整个分析过程就是下面网络做所的事情。@后面内容代表不同的窗口尺寸。

    图像篡改检测:ManTra-Net

     

     

    对于得到的多个不同窗口的Z-score特征该怎么结合,一般的话就直接拼接起来了,但是作者认为这不符合人类的直觉,如果一个人看不清东西,他会靠近,也就是由远及近,因此,作者使用LSTM和TimeConcat将Z * F连接到时间维度上,将其转换为四维的并生成大小为(k + 1)×H×W×L的4D特征。LSTM能够利用时间序列信息,因此提出的异常检测网络按顺序分析了属于不同窗口大小的Z分数偏差,最后对于训练的Loss,作者使用的是交叉熵Loss。

    2.3 实验结果

    单纯从实验结果来说,作者的结果一般,在NIST、Columbia这两个数据集上结果都不如RGB-N(也就是上一篇介绍的内容),分别落后了14.2%、3.4%,但是在coverage、CASIA这两个数据集上领先了0.2%、2.2%。
     

    图像篡改检测:ManTra-Net

    03
    总结
    ManTra-Net 很大的创新之处在于将篡改方法进行细化分为了385种方式,以通过对385种图像操作类型进行分类来学习强大的图像操作轨迹。此外,ManTra-Net 将伪造定位问题公式化为局部异常检测问题,设计Z分数功能以捕获局部异常。ManTra-Net的优点主要在于它对于绝大多数的篡改攻击方式的有效果,因为它利用了自监督学习篡改的类型,因此有效的检测多种篡改方式,并且具有不错的鲁棒性,可以说是每个方式都有优势,但单独一种方式下不一定是最优的方法。这篇文章阅读完我的感受是作者真的做了很充分的实验,并且解决问题的思路很清晰。
    本站上原创文章未经作者许可,不得用于商业用途,仅做学习交流使用,本站免责声明。转载请注明出处,否则保留追究法律责任的权利。《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
    数据科学与编程 » 图像篡改检测:ManTra-Net

    发表评论

    • 53会员总数(位)
    • 322资源总数(个)
    • 20本周发布(个)
    • 3 今日发布(个)
    • 334稳定运行(天)

    提供最优质的博文资源集合

    立即阅览 了解详情