基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法及系統(tǒng)，該方法包括下述步驟：視頻預(yù)處理，根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建篡改掩膜，對篡改掩膜隨機(jī)采樣得到多個(gè)像素點(diǎn)的坐標(biāo)位置以及對應(yīng)的篡改值，對人臉圖像進(jìn)行空域特征和多層次時(shí)域特征提取得到時(shí)空特征，基于雙注意力機(jī)制計(jì)算得到時(shí)空不一致特征，將時(shí)空不一致特征與像素點(diǎn)的坐標(biāo)通道進(jìn)行拼接，基于像素級位置篡改概率值重建進(jìn)行輔助監(jiān)督，對時(shí)空不一致特征進(jìn)行二分類得到換臉視頻篡改檢測結(jié)果。本發(fā)明專利技術(shù)能夠使時(shí)空特征更具全局性，能夠根據(jù)坐標(biāo)定位預(yù)測出該像素點(diǎn)的篡改概率值，在不同數(shù)據(jù)庫均獲得較好的準(zhǔn)確率，其跨庫檢測性能優(yōu)于現(xiàn)有算法，具有較好的域泛化性和通用性。性和通用性。性和通用性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法及系統(tǒng)


[0001]本專利技術(shù)涉及數(shù)字視頻的篡改檢測
，具體涉及一種基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法及系統(tǒng)。

技術(shù)介紹

[0002]隨著人臉偽造方法的快速發(fā)展，出現(xiàn)越來越多開源的換臉軟件(如DeepFakes、DeepFaceLab2.0)，很容易被大眾獲取去制作各種換臉視頻，換臉軟件的濫用引起了公眾的廣泛關(guān)注，因此迫切需要開發(fā)出有效的換臉篡改視頻的檢測技術(shù)；
[0003]目前大多數(shù)基于圖像分割思想的Deepfake檢測算法將換臉視頻視為特殊的拼接篡改問題，認(rèn)為篡改圖像最具區(qū)分性的特征是局部的，而不是全局的，更多利用流行的神經(jīng)分割網(wǎng)絡(luò)，如堆積大量卷積層和轉(zhuǎn)置卷積層的全卷積網(wǎng)絡(luò)模型生成大尺度篡改區(qū)域預(yù)測圖，去檢測局部的篡改痕跡，而不是從全局上從不同層面收集全局統(tǒng)計(jì)特征。但最新的換臉技術(shù)制作的偽造人臉質(zhì)量都非常的高，往往很難從圖像局部上提取出細(xì)微的篡改信息，只從局部提取篡改特征的檢測算法容易出現(xiàn)跨庫性能急劇下降的域泛化不足的問題。所以應(yīng)該從全局取證角度，借助背景和臉部區(qū)域不一致性檢測真?zhèn)巍３酥猓矸e網(wǎng)絡(luò)模型大多參數(shù)較大，模型計(jì)算復(fù)雜度較高，并且網(wǎng)絡(luò)容易出現(xiàn)過擬合。

技術(shù)實(shí)現(xiàn)思路

[0004]為了克服現(xiàn)有技術(shù)存在的缺陷與不足，本專利技術(shù)提供一種基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法及系統(tǒng)，本專利技術(shù)采用多層次時(shí)空特征提取網(wǎng)絡(luò)和雙注意力機(jī)制的模型進(jìn)行時(shí)空不一致特征提取，從時(shí)間多分辨率的角度提取出時(shí)空不一致特征，并對篡改掩膜通過采樣構(gòu)建多組坐標(biāo)位置
?
篡改值對(x坐標(biāo)，y坐標(biāo)，篡改值)，將時(shí)空不一致特征與隨機(jī)采樣的若干個(gè)像素點(diǎn)的xy軸坐標(biāo)進(jìn)行拼接，通過坐標(biāo)位置重建得到該像素點(diǎn)的篡改概率預(yù)測值，進(jìn)行像素級篡改概率值的輔助監(jiān)督，在庫內(nèi)和跨庫測試中均具有很好的檢測性能，具有良好的泛化性。
[0005]為了達(dá)到上述目的，本專利技術(shù)采用以下技術(shù)方案：
[0006]本專利技術(shù)提供一種基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，包括下述步驟：
[0007]將待測視頻進(jìn)行分幀，對每一幀圖像進(jìn)行人臉框檢測提取；
[0008]根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建篡改掩膜；
[0009]對待檢測圖像的篡改掩膜進(jìn)行隨機(jī)采樣，得到多個(gè)像素點(diǎn)的坐標(biāo)位置以及對應(yīng)的篡改值；
[0010]基于DenseNet模塊構(gòu)建淺層的卷積層模塊，對輸入的人臉圖像進(jìn)行空域特征提取，輸出空域特征；
[0011]基于ConvLSTM構(gòu)建多層次時(shí)域特征提取模塊，將空域特征輸入多層次時(shí)域特征提
取模塊輸出時(shí)空特征，對應(yīng)不同時(shí)間分辨率；
[0012]構(gòu)建雙注意力機(jī)制模塊，所述雙注意力機(jī)制模塊設(shè)有時(shí)空注意力機(jī)制和時(shí)域分辨率注意力機(jī)制，在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，加權(quán)求得時(shí)空不一致特征；
[0013]將時(shí)空不一致特征與像素點(diǎn)的坐標(biāo)通道進(jìn)行拼接，經(jīng)多層卷積層后生成像素坐標(biāo)位置對應(yīng)的篡改概率預(yù)測值，將篡改值通道作為篡改值標(biāo)簽，對比像素級篡改概率預(yù)測值和篡改值標(biāo)簽計(jì)算交叉熵?fù)p失函數(shù)；
[0014]設(shè)定閾值，基于設(shè)定閾值對時(shí)空不一致特征進(jìn)行二分類，得到換臉視頻篡改檢測結(jié)果。
[0015]作為優(yōu)選的技術(shù)方案，所述根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建篡改掩膜，具體步驟包括：
[0016]根據(jù)人臉關(guān)鍵點(diǎn)的點(diǎn)集生成一個(gè)凸多邊形作為篡改區(qū)域構(gòu)建篡改掩膜，所述篡改掩膜設(shè)有二值化0或1的值，當(dāng)判定假臉圖像在人臉輪廓區(qū)域被篡改過時(shí)，人臉輪廓區(qū)域內(nèi)均設(shè)為1值，背景區(qū)域均設(shè)為0值；當(dāng)判定真臉圖像在整張圖像中均未被篡改過時(shí)，整張掩膜均設(shè)為0值；
[0017]根據(jù)人臉框位置裁剪出人臉區(qū)域圖片,并采用雙線性插值對圖片重采樣成統(tǒng)一的預(yù)設(shè)分辨率作為圖像輸入。
[0018]作為優(yōu)選的技術(shù)方案，所述在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，具體步驟包括：
[0019]在時(shí)空注意力機(jī)制中，將時(shí)空特征沿著不同的輸入特征方向軸使用最大池化和平均池化操作得到兩個(gè)三維的注意力圖，將兩個(gè)三維的注意力圖拼揍后經(jīng)過3D卷積和Sigmoid函數(shù)生成三維概率特征圖，將三維概率特征圖與時(shí)空特征逐元素相乘，得到特征增強(qiáng)后的時(shí)空特征。
[0020]作為優(yōu)選的技術(shù)方案，所述在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，具體表示為：
[0021][0022][0023][0024][0025]其中，表示逐元素相乘，σ表示Sigmoid函數(shù)，Conv3d表示3D卷積層，ST
t,C,H,W
表示時(shí)空特征輸入，表示沿著輸入特征方向的最大池化輸出值，表示沿著輸入特征方向的平均池化輸出值，表示特征增強(qiáng)后的時(shí)空特征，t0表示圖像第t0幀，N表示圖像總幀數(shù)，C、H、W分別表示圖像的通道、高度和寬度。
[0026]作為優(yōu)選的技術(shù)方案，所述在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特
征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，具體步驟包括：
[0027]特征增強(qiáng)后的時(shí)空特征經(jīng)過三維的最大池化和三維的平均池化操作，得到最大池化特征和平均池化特征，將最大池化特征和平均池化特征分別輸入多層感知器，自適應(yīng)生成權(quán)重向量，提取時(shí)空特征在不同時(shí)間分辨率下的時(shí)域關(guān)聯(lián)。
[0028]作為優(yōu)選的技術(shù)方案，所述在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，加權(quán)求得時(shí)空不一致特征，具體表示為：
[0029][0030][0031][0032][0033]其中，表示逐元素相乘，C、H、W分別表示圖像的通道、高度和寬度，表示特征增強(qiáng)后的時(shí)空特征，表示最大池化特征，表示平均池化特征，MLP表示多層感知器，F(xiàn)
STW
表示Softmax函數(shù)輸出的概率特征向量，ST
STW
表示多尺度時(shí)域關(guān)聯(lián)的時(shí)空特征，t0表示圖像第t0幀，N表示圖像總幀數(shù)。
[0034]作為優(yōu)選的技術(shù)方案，所述對比像素級篡改概率預(yù)測值和篡改值標(biāo)簽計(jì)算交叉熵?fù)p失函數(shù)，具體計(jì)算公式表示為：
[0035][0036]其中，p
′
表示篡改概率預(yù)測值，p表示篡改值標(biāo)簽，p
c
表示篡改值標(biāo)簽的集合。
[0037]作為優(yōu)選的技術(shù)方案，所述基于設(shè)定閾值對時(shí)空不一致特征進(jìn)行二分類，具體步驟包括：
[0038]將時(shí)空不一致特征平鋪展開為一維特征，輸入到兩層全連接層的分類器，輸出待檢測幀的篡改概率值，將篡改概率值與設(shè)定閾值進(jìn)行比較，高于設(shè)定閾值則判定人臉圖像為篡改圖像，低于設(shè)定閾值則判定人臉圖像為真實(shí)圖像。
[0039]作為優(yōu)選的技術(shù)方案，還包括網(wǎng)絡(luò)訓(xùn)練損失函數(shù)構(gòu)建步驟，所述網(wǎng)絡(luò)訓(xùn)練損失函數(shù)包括二分類真假預(yù)測與真本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，包括下述步驟：將待測視頻進(jìn)行分幀，對每一幀圖像進(jìn)行人臉框檢測提取；根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建篡改掩膜；對待檢測圖像的篡改掩膜進(jìn)行隨機(jī)采樣，得到多個(gè)像素點(diǎn)的坐標(biāo)位置以及對應(yīng)的篡改值；基于DenseNet模塊構(gòu)建淺層的卷積層模塊，對輸入的人臉圖像進(jìn)行空域特征提取，輸出空域特征；基于ConvLSTM構(gòu)建多層次時(shí)域特征提取模塊，將空域特征輸入多層次時(shí)域特征提取模塊輸出時(shí)空特征，對應(yīng)不同時(shí)間分辨率；構(gòu)建雙注意力機(jī)制模塊，所述雙注意力機(jī)制模塊設(shè)有時(shí)空注意力機(jī)制和時(shí)域分辨率注意力機(jī)制，在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，加權(quán)求得時(shí)空不一致特征；將時(shí)空不一致特征與像素點(diǎn)的坐標(biāo)通道進(jìn)行拼接，經(jīng)多層卷積層后生成像素坐標(biāo)位置對應(yīng)的篡改概率預(yù)測值，將篡改值通道作為篡改值標(biāo)簽，對比像素級篡改概率預(yù)測值和篡改值標(biāo)簽計(jì)算交叉熵?fù)p失函數(shù)；設(shè)定閾值，基于設(shè)定閾值對時(shí)空不一致特征進(jìn)行二分類，得到換臉視頻篡改檢測結(jié)果。2.根據(jù)權(quán)利要求1所述的基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，所述根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建篡改掩膜，具體步驟包括：根據(jù)人臉關(guān)鍵點(diǎn)的點(diǎn)集生成一個(gè)凸多邊形作為篡改區(qū)域構(gòu)建篡改掩膜，所述篡改掩膜設(shè)有二值化0或1的值，當(dāng)判定假臉圖像在人臉輪廓區(qū)域被篡改過時(shí)，人臉輪廓區(qū)域內(nèi)均設(shè)為1值，背景區(qū)域均設(shè)為0值；當(dāng)判定真臉圖像在整張圖像中均未被篡改過時(shí)，整張掩膜均設(shè)為0值；根據(jù)人臉框位置裁剪出人臉區(qū)域圖片,并采用雙線性插值對圖片重采樣成統(tǒng)一的預(yù)設(shè)分辨率作為圖像輸入。3.根據(jù)權(quán)利要求1所述的基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，所述在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，具體步驟包括：在時(shí)空注意力機(jī)制中，將時(shí)空特征沿著不同的輸入特征方向軸使用最大池化和平均池化操作得到兩個(gè)三維的注意力圖，將兩個(gè)三維的注意力圖拼揍后經(jīng)過3D卷積和Sigmoid函數(shù)生成三維概率特征圖，將三維概率特征圖與時(shí)空特征逐元素相乘，得到特征增強(qiáng)后的時(shí)空特征。4.根據(jù)權(quán)利要求1或3所述的基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，所述在時(shí)空注意力機(jī)制中生成三維概率注意力圖，對多個(gè)時(shí)空特征進(jìn)行特征增強(qiáng)，具體表示為：
其中，表示逐元素相乘，σ表示Sigmoid函數(shù)，Conv3d表示3D卷積層，ST
t,C,H,W
表示時(shí)空特征輸入，表示沿著輸入特征方向的最大池化輸出值，表示沿著輸入特征方向的平均池化輸出值，表示特征增強(qiáng)后的時(shí)空特征，t0表示圖像第t0幀，N表示圖像總幀數(shù)，C、H、W分別表示圖像的通道、高度和寬度。5.根據(jù)權(quán)利要求1所述的基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，所述在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，具體步驟包括：特征增強(qiáng)后的時(shí)空特征經(jīng)過三維的最大池化和三維的平均池化操作，得到最大池化特征和平均池化特征，將最大池化特征和平均池化特征分別輸入多層感知器，自適應(yīng)生成權(quán)重向量，提取時(shí)空特征在不同時(shí)間分辨率下的時(shí)域關(guān)聯(lián)。6.根據(jù)權(quán)利要求1或5所述的基于時(shí)空域預(yù)測像素級篡改概率值的換臉視頻檢測方法，其特征在于，所述在時(shí)域分辨率注意力機(jī)制中輸入特征增強(qiáng)后的時(shí)空特征，計(jì)算多個(gè)時(shí)空特征之間的時(shí)域關(guān)聯(lián)性，自適應(yīng)計(jì)算不同時(shí)空特征的權(quán)重值，加權(quán)求得時(shí)空不一致特征，具體表示為：為：為：為：其中，表示逐元素相...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：卓思超，胡永健，劉琲貝，余翔宇，趙鴻杰，
申請(專利權(quán))人：華南理工大學(xué)，
類型：發(fā)明
國別省市：