通达科学（资源职业）标记码（OSID）：
丝袜 写真
连年来，基于深度学习的东说念主脸替换技能取得了较快的发展[1]。东说念主脸伪造主要体当今修改身份、升沉色彩、生周密新东说念主脸这3种情况，其中，修改身份即为东说念主脸替换，DeepFake是东说念主脸替换中的主要身手。DeepFake发祥于2017年Reddit论坛中的一个匿名代码，是基于深度学习的东说念主脸替换身手，其浅薄易用且莫得违和感[2]。DeepFake以自编码器（AutoEncoder，AE）为中枢结构，期骗编码器提真金不怕火面部图像的潜在特征，然后使用解码器重建面部图像，从而将宗旨东说念主物的面部图像替换到原视频中的东说念主物上。为了在原图像和宗旨图像之间交换面部，需要2个编码器-解码器对，每个编码器-解码器对齐在东说念主物图像集上进行搜检，何况编码器的参数在2个聚集之间分享。咫尺，东说念主脸替换辩别身手主要分为两类。
第一类身手期骗DeepFake视频中前后帧的时辰信息进行辩别：GÜERA[3]商议发现DeepFake视频前后相邻帧之间包含不一致的时序性内容，其冷落期骗CNN和LSTM检测假视频的身手；LI等[4]商议发现DeepFake假视频的东说念主物眨眼频率低于真确视频，因此，将剪辑后的眼部区域序列分拨到长久轮回卷累积集（LRCN）[5]中进行动态掂量；张怡暄等[6]商议发现DeepFake视频中东说念主脸区域的帧间互异彰着大于真确视频，其期骗视频相邻帧中东说念主脸图像的互异特征进行掂量；陈鹏等[7]期骗全局时序特征和局部空间特征来发现伪造东说念主脸视频；LI等[8]期骗DeepFake视频相邻帧上的抖动来检测视频真伪，并科罚了搜检不可很好经管的问题。上述身手容易被DeepFake技能所模仿并进行校正，因此，身手的时效性每每较弱[9]。
第二类身手提真金不怕火DeepFake的图像特征信息进行辩别：YANG等[10]冷落一种辩别身手，该身手期骗由头部所在和位置组成的三维头部位姿之间的互异，将提真金不怕火的特征输入SVM分类器进行分类，关联词骨子情况中三维头部姿态获取效劳低；AFCHAR[11]期骗神经聚集中层语义信息，使器具有一丝层的神经聚集来学习真假东说念主脸图像内在特征的不一致性；LI等[12]针对DeepFake会留住稀奇伪影的表象，期骗深度学习聚集来检测DeepFake伪影；NGUYEN等[13]期骗胶囊聚集（Capsule-Net）来检测DeepFake，并在FaceForensics++数据集[14]上进行评估。文件[11-13]身手天然在各自的数据集上具有有用性，但泛化智商弱，对于高质地的DeepFake图像检测成果欠安。
BONETTINI等[15]将浅薄的注见识机制引入卷积神经聚集中，在FaceForensics++和DFDC数据集上进行评估，为止标明，注见识机制对于辩别DeepFake具有有用性。因此，本文冷落一种基于多通说念注见识机制的东说念主脸替换辩别身手。对现存的注见识模子进行推广，联想一种多通说念注见识模块，证据矩阵相乘的想想交融全局和局部的注见识表现，在注见识模块连续主聚集的方式上模仿残差神经聚集（ResNet）[16]的超过连续身手，以减少遑急信息赔本。在搜检历程中，通过由多通说念模块生成的注见舆图来结合图像剪辑和去除，从费力毕数据增强。
1 本文身手 1.1 聚集结构本文身手的合座聚集框架如图 1所示。将图片I输入特征提真金不怕火器，得到特征F，通过多通说念注见识模块得到注见舆图A，特征图F与每个通说念的注见舆图A按元素相乘得到特征矩阵T，然后通过全连续层得到概率P，从而分袂输入图片是否为DeepFake所生成。
图 1 合座聚集框架
Fig. 1 Overall network framework
1.1.1 特征提真金不怕火器
本文期骗Xception[17]聚集手脚特征提真金不怕火器。与惯例聚集卷积操作比较，Xception的参数目和运算资本较低，且其不错更好地耕种聚集搜检效劳，在同等参数目以及大限制数据集上，成果优于Inception-v3。此外，在给定硬件资源的情况下，Xception不错有用提高聚集效劳和性能。
1.1.2 多通说念注见识模块本文多通说念注见识模块以矩阵相乘的方式交融全局和局部注见识表现，再以超过连续的身手与主聚集连续。具体的注见识模块结构如图 1中的淡色暗影区域所示，通盘注见识模块分为A、B、Q这3个分支：
1）A分支为全局注见识表现。注见识表现身手将特征图通过16个1×1卷积核的卷积层，得到全局注见识表现，此时愈加杰出遑急的权重，最终得到注见识特征图F1。
2）B分支为局部注见识表现。该分支经受CBAM[18]空间注见识表现，空间特征图$ {\boldsymbol{F}}_{2}\left(\boldsymbol{F}\right) $的缱绻历程如下：
$ {\boldsymbol{F}}_{2}\left(\boldsymbol{F}\right)={\boldsymbol{F}}_{2}\cdot \sigma \left({f}^{1\times 1}\left[\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(\boldsymbol{F}\right);\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(\boldsymbol{F}\right)\right]\right) $ (1)其中：$ \boldsymbol{F} $为输入的特征图；$ \mathrm{M}\mathrm{a}\mathrm{x}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l} $和$ \mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l} $分别为最大和平均池化层；$ {f}^{1\times 1} $为1×1大小的卷积核；$ \sigma $为Sigmoid激活函数。
对特征图分别进行基于通说念的最大池化和平均池化，在通说念上作念拼接操作，再经过Sigmoid激活函数得到特征图$ {\boldsymbol{F}}_{2} $。因为最大和平均池化会形成一定的信息赔本，是以这里将其称为局部注见识表现。
3）Q分支得到经过2 048个1×1卷积核卷积后的特征图F0，其对Feature多加多一层卷积映射，使聚集学到更多的参数。将$ {\boldsymbol{S}}_{i， j} $权重应用到F0上，即每一个元素点齐与通盘Feature联系，联系性来自于D矩阵。Q分支的输出O缱绻公式如下：
$ \boldsymbol{O}=\sum\limits _{i=1}^{N}{\boldsymbol{S}}_{i， j}\cdot {\boldsymbol{F}}_{0}\left({x}_{i}\right) $ (2)其中：$ {\boldsymbol{F}}_{0}\left({x}_{i}\right) $为Q分支的卷积操作表现。
如图 2所示，将F0[C×N]矩阵与S[N×N]矩阵的转置相乘，得到输出O[C×N]。输出O中的第$ i $行第$ j $列的元素表现被矩阵S对应第j列元素加权之后的Feature在第$ i $个通说念的值。然后对输出O进行维度重构，使输出O规复为C×W×H尺寸。为了减少搜检时辰，在输出后再加一个浅薄的卷积层，最终得到A。
图 2 输出O的缱绻历程暗意图
Fig. 2 Schematic diagram of calculation process of output O
本文身手使用矩阵相乘的方式来聚会全局和局部注见识表现。为了兴奋矩阵相乘的要求，将$ {\boldsymbol{F}}_{1} $和$ {\boldsymbol{F}}_{2} $的尺寸从2个维度（H×W维）压缩为1个维度（N维），使尺寸从[B×16×H×W]分别变为[B×N×16]和[B×16×N]，其中，$ N=H\times W $，H和W分别为Feature的长和宽。$ {\boldsymbol{F}}_{1} $和$ {\boldsymbol{F}}_{2} $矩阵相乘后得到D矩阵，大小为[B，N，N]，其不错看作一个联系性矩阵，即F上各个元素点之间的联系性表现。通过上述历程，既杰出了遑急权重又幸免了遑急信息的赔本。矩阵D的缱绻公式如下：
$ {\boldsymbol{D}}_{i， j}={f}_{1}({x}_{i}{)}^{\mathrm{T}}\cdot {f}_{2}({x}_{j}) $ (3)其中：$ {f}_{1} $和$ {f}_{2} $分别为由分支A和B进行的卷积操作；$ {\boldsymbol{D}}_{i， j} $不错表露为矩阵D中第$ i $行第$ j $列的元素值，表现F2中第j个元素对F1中第i个元素的影响。
为了腐化梯度爆炸问题，将D矩阵逐行通过Softmax函数得到S矩阵。矩阵S的缱绻公式如下：
$ {\boldsymbol{S}}_{i， j}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left({\boldsymbol{D}}_{i， j}\right)}{\sum\limits _{i=1}^{N}\mathrm{e}\mathrm{x}\mathrm{p}\left({\boldsymbol{D}}_{i， j}\right)} $ (4)其中：$ {\boldsymbol{S}}_{i， j} $各行元素之和为1；S矩阵中第$ i $行元素代表Feature中系数位置的元素对第$ i $个元素的影响，这种影响即为权重。
在连续主聚集的方式上，本文模仿残差神经聚集的超过连续，引入休养参数ε，使输出O的权重需要通过反向传播来更新，具体缱绻公式如下：
$ y=\varepsilon \boldsymbol{S}+\boldsymbol{F} $ (5)在运行阶段，$ \varepsilon $为0，输出y胜利复返输入的F，跟着搜检的进行，输出y渐渐学习到要将经过注见识机制的F加在原始F上，从而强调了需要施加注见识的部分F。
成人熟妇小说在线 1.1.3 输出层将特征图F与每个通说念的注见舆图按元素相乘，具体缱绻公式如下：
$ {\boldsymbol{T}}_{i}={\boldsymbol{A}}_{i}\odot \boldsymbol{F}， i=\mathrm{1， 2}， \cdots ， M $ (6)其中：$ {\boldsymbol{A}}_{i} $为注见舆图；M为注见舆图的个数。
相乘之后以拼接的方式得到特征矩阵T，T中的每一转代表一张图像的系数特征，然后将T特征矩阵输入线性分类层进行二分类，最终得到概率P从而判断输入图像的真假。
1.2 赔本函数诞生本文身手的赔本函数抒发式如下：
$ L={L}_{\mathrm{e}}+{L}_{\mathrm{c}} $ (7)其中：$ {L}_{\mathrm{e}} $为交叉熵赔本；$ {L}_{\mathrm{c}} $为中心赔本。
$ {L}_{\mathrm{e}} $的缱绻方式如下：
$ {L}_{\mathrm{e}}=-\sum\limits _{i=1}^{N}\left({y}_{i}\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}{y}_{i}^{\text{'}}+(1-{y}_{i})\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}(1-{y}_{i}^{\text{'}})\right) $ (8)其中$ ：{y}_{i} $为真确标签值；$ {y}_{i}^{\text{'}} $为掂量标签值。
$ {L}_{\mathrm{c}} $模仿了中心赔本[19]的旨趣，将底本中心赔本的类中心替换成不同特征的特征中心，使合并类别中合并部分的特征尽可能地接近。$ {L}_{\mathrm{c}} $的缱绻方式如下：
$ {L}_{\mathrm{c}}=\sum\limits _{i=1}^{N}{‖{y}_{i}^{\text{'}}-{c}_{{y}_{i}}‖}_{2}^{2} $ (9)其中：$ {y}_{i}^{\text{'}} $为聚集掂量值；c为诞生的标签空间特征中心。c的运行值诞生为0，按照以下滑动平均公式来更新：
$ {c}_{{y}_{i}}\leftarrow {c}_{{y}_{i}}+\delta \cdot ({y}_{i}^{\text{'}}-{c}_{{y}_{i}}) $ (10)其中：$ \delta $在本质中运行值取0.05。
1.3 搜检历程本文聚集的搜检历程使用迁徙学习中的微调（Fine-tuning）技能。使用Xception聚集在ImageNet数据集上的预搜检模子，去掉底本的全连续层，添加新的模块和全连续层，在原有参数的基础上搜检通盘聚集，从而提高本质效劳。同期，本文期骗细粒度分类WSDAN聚集[20]中的搜检方式，通过每一个轮次搜检好的注见舆图来结合一个轮次图像的剪辑和去除，然后干预彀络进行搜检，从费力毕数据增强。具体历程如下：
输入图像经过特征提真金不怕火和注见识聚集后输出A，尺寸为B×M×W×H，中式M张图像中权重较高的2张图像分别用作图像剪辑和图像去除，经过归一化处理得到$ {\boldsymbol{A}}_{1}^{\text{'}} $和$ {\boldsymbol{A}}_{2}^{\text{'}} $。归一化缱绻公式为：
$ {\boldsymbol{A}}_{k}^{\text{'}}=\frac{{\boldsymbol{A}}_{k}-\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left({\boldsymbol{A}}_{k}\right)}{\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left({\boldsymbol{A}}_{k}\right)-\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{ }\left({\boldsymbol{A}}_{k}\right)} $ (11)当k=1时，$ {\boldsymbol{A}}_{1} $用作剪辑得到mask，缱绻公式如下：
$ {\boldsymbol{C}}_{m}(i， j)=\left\{\begin{array}{c}1\text{，}{\boldsymbol{A}}_{1}(i， j)\ge {\theta }_{c}\\ 0\text{，}{\boldsymbol{A}}_{1}(i， j) < {\theta }_{c}\end{array}\right. $ (12)其中：$ {\boldsymbol{C}}_{m} $为得到的mask；$ {\theta }_{c} $为设定的剪辑阈值。Cm为不法规神气的mask，取能包含该mask的最小的矩形范畴（bounding box），将该矩形范畴坐标障翳至原图，并将该范畴区域放大至原图大小，即放大已经受到慈祥的区域，就可得到剪辑图片以不时参与搜检。
当k=2时，$ {\boldsymbol{A}}_{2} $用作去除得到mask，缱绻公式如下：
$ {\boldsymbol{E}}_{m}(i， j)=\left\{\begin{array}{c}1\text{，}{\boldsymbol{A}}_{2}(i， j) < {\theta }_{e}\\ 0\text{，}{\boldsymbol{A}}_{2}(i， j)\ge {\theta }_{e}\end{array}\right. $ (13)其中：$ {\boldsymbol{E}}_{m} $为得到的mask；$ {\theta }_{e} $为设定的去除阈值。$ {\boldsymbol{E}}_{m} $与原图进行对应元素相乘，得到去除后的图片，使得已经受到慈祥的区域被排斥，保留莫得受到慈祥的区域，且去除后的图片不时参与搜检。
2 本质为止与分析 2.1 本质诞生 2.1.1 环境诞生本文本质在单机PC端搜检完成，本质环境诞生如下：处理器为Intel® CoreTM i7-6700HQ CPU @2.60 GHz，显卡为NVIDIA GeForce GTX 950 M 4 G，操作平台为Windows 10，软件平台为Python3.6，主要依赖库为CUDA 9.0、cuDNN 7.6。
2.1.2 数据集组成本文本质只针对由自编码器生成的换脸视频（以下称为DeepFake）。咫尺对于辩别DeepFake的数据集质地不斡旋，FaceForensics++（以下简写为FF++）的DeepFake数据集结有些视频生成成果欠安，东说念主眼就能识别出DeepFake视频，因此，本文对FF++（c40）中DeepFake数据集进行从头东说念主工筛选，将有彰着生成印迹的假视频剔除，并在此基础上扩增数据集，分别由Celeb-DF数据集[21]、DFD（DeepFake-Detection）数据集[14]、聚聚集集组成。为了镌汰原始数据的复杂度，耕种模子搜检踏实性，本文对原视频作念预处理，期骗MTCNN[22]进行东说念主脸检测，把剪辑出的东说念主脸手脚输入图片，最终数据集结搜检集总计有17 200张图片，真假图片各占一半，为8 600张，测试集总计有4 300张，真假图片各占一半，齐为2 150张。具体的搜检集、测试集组成如表 1所示。
下载CSV
表 1 数据集信息
Table 1 Datasets information
2.1.3 本质参数诞生
模子基于Pytorch 1.1.0深度学习框架搭建聚集架构，搜检身手为连忙梯度着落法（SGD），运行学习率设为0.001，动量诞生为0.95，权重衰减为0.000 01，batch size为8，输入图像大小为300×300，总计进行30轮的搜检，$ {\theta }_{c}\in (0.4\mathrm{ }， 0.6) $，$ {\theta }_{e}\in (0.4\mathrm{ }， 0.7) $。在搜检历程中，经受微调的搜检方式，提真金不怕火Xception除全连续层外的终末一层，即得到的特征图数目为2 048。
2.1.4 评估法式本文本质经受的评估法式为精度（Accuracy），其界说如下：
$ {A}_{\mathrm{A}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}}=\frac{{T}_{\mathrm{T}\mathrm{P}}+{T}_{\mathrm{T}\mathrm{N}}}{{T}_{\mathrm{T}\mathrm{P}}+{T}_{\mathrm{T}\mathrm{N}}+{F}_{\mathrm{F}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}} $ (14)其中：TTP为真阳性；TTN为真阴性；FFP为假阳性；FFN为假阴性。本文本质中将东说念主脸真图界说为正类，东说念主脸假图界说为负类。
2.2 对比本质为止本文身手和其他辩别身手在测试集上的测试精度对比如表 2所示。从表 2不错看出，与其他基于深度学习的检测身手比较，本文身手测试精度最高，测试精度比较Xception[14]身手提高了2.63个百分点，比较B4Att[15]身手提高了1.35个百分点，充分考据了本文身手的有用性。
下载CSV
表 2 6种身手的测试精度对比
Table 2 Comparison of test accuracy of six methods
在FF++（c40）、Celeb-DF、DFD[23]数据集上分别进行测试对比，为止如表 3所示。从表 3不错看出：各身手在Celeb-DF和DFD数据集上的测试精度均低于FF++数据集；本文身手在Celeb-DF和DFD数据集上的测试精度能达到97.85%和92.17%，且在FF++数据集上，本文身手的测试精度比较B4Att[15]提高了0.45个百分点，在挑战性相对较高的Celeb-DF和DFD数据集上，测试精度分别提高4.68和3.59个百分点，本文身手合座性能优于其他对比身手，泛化智商更强；S-MIL-T是基于视频的检测身手，比较其余基于图片的检测身手，其只在Celeb-DF数据集上进展杰出。
下载CSV
表 3 在FF++、Celeb-DF、DFD数据集上的测试精度对比
Table 3 Comparison of test accuracy on FF++， Celeb-DF and DFD datasets
本文还在具有代表性的测试图例上进行本质对比，为止如表 4所示，其中，第一、第二幅图为FF++数据集，第三、第四、第五幅图为Celeb-DF数据集，终末一幅图为DFD数据集，表格内“√”代表该聚集能正确判断该图为DeepFake图片，“×”代表聚集将图片误判为真图。表 4中给出的例子骨子均为DeepFake图片，从第一幅图片的测试为止不错看出，生成成果欠安的DeepFake图片有彰着的伪影范畴，表中身手均能辩别出该图为DeepFake图片，但跟着DeepFake图片质地的耕种，其他身手会出现误判的情况，而本文身手仍然不祥正确地辩别出该图为DeepFake图片。
下载CSV
表 4 DeepFake图片的辩别为止
Table 4 Identification results of DeepFake pictures
2.3 消融本质为止
对本文所联想的模子进行消融本质，测试精度对比情况如表 5所示。其中：Base model为胜利使用Xception聚集进行分类辩别的模子；+Attention为在Base model上添加本文注见识机制的模子；eraser mask、crop mask分别为注见识结合的图像去除、剪辑的模子；终末4行All代表本文模子在不同的预搜检模子（ResNet101[16]、VGG19[24]、Inception-v3[25]、Xception）上进行测试。从表 5不错得出：
下载CSV
表 5 消融本质为止
Table 5 Results of ablation experiment
1）在Xception聚集的基础上加入本文联想的Attention模块，测试精度有2.27个百分点的耕种；在基础模子上添加中心赔本，测试精度也有0.44个百分点的耕种；添加A、B不同分支的注见识表现，对基础模子的测试精度分别有2.13和2.18个百分点的耕种，即局部和全局注见识表现均能证据一定作用，将它们相聚会后精度不祥进一步耕种。
2）在多通说念注见识模块的基础上引入注见识结合的图像剪辑和去除，测试精度不祥耕种0.28个百分点；剪辑的作用（耕种0.22个百分点）比去除的作用（$ \mathrm{提}\mathrm{升} $0.08个百分点）更彰着，即对于辩别DeepFake，剪辑的图像有益于聚集提真金不怕火到更细节的特征。
3）在不同的特征提真金不怕火聚集的基础上，本文联想的多通说念注见识模块的测试精度齐能达到97%以上，其中Xception聚集成果最佳。
3 收尾语本文针对DeepFake图片辩别问题，开荒一种基于多通说念注见识模块的辩别聚集模子。将注见识模块添加到现存的预搜检模子中，交融全局和局部注见识表现以幸免遑急信息赔本。在搜检历程中使用注见识结合的图像剪辑和去除的搜检方式，从而起到数据增强的作用。在FF++、Celeb-DF和DFD数据集上的本质为止标明丝袜 写真，该模子泛化智商较强，测试精度优于B4Att、S-MIL-T等身手。关联词，本文模子难以胜利对输入视频进行辩别，也未期骗视频中各帧之间的联系性信息，对以上问题进行商议以耕种模子的检测性能将是下一步的商议所在。