一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法技術(shù)

本發(fā)明專利技術(shù)請求保護(hù)一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法。首先以并行DFC注意力和殘差構(gòu)建檢測模型的主干網(wǎng)絡(luò)，同時利用擴(kuò)張卷積和感受野補(bǔ)充塊聯(lián)合彌補(bǔ)單一檢測頭帶來的性能下降，構(gòu)建GS

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法


[0001]本專利技術(shù)屬于基于視頻的目標(biāo)檢測領(lǐng)域，特別是基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法。

技術(shù)介紹

[0002]近年來，卷積神經(jīng)網(wǎng)絡(luò)逐步成為一種主流深度學(xué)習(xí)的模型架構(gòu)，已成為圖像處理和計(jì)算機(jī)視覺領(lǐng)域最為有效的方法。權(quán)值共享和局部感受野這兩大特點(diǎn)減少了權(quán)值的數(shù)量，使得模型的運(yùn)算復(fù)雜度下降；對圖像的特征的平移不變性也使其具有良好的特征提取能力和高度的穩(wěn)定性。
[0003]當(dāng)前已有大量研究利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測方法探索，自2014年R.Girshick等人提出基于候選區(qū)域的R
?
CNN深度學(xué)習(xí)模型起，產(chǎn)生了一批經(jīng)典的二階段目標(biāo)檢測算法，如Fast R
?
CNN、Faster R
?
CNN；此外以YOLO為代表的一階段檢測方法，常見的是YOLOv3，YOLOv4到目前的DAMO
?
YOLO，一階段方法嘗試在精度和速度上做權(quán)衡，當(dāng)然也是在眾多的Tricks下的檢測性能得到了提升，不可避免帶來網(wǎng)絡(luò)參數(shù)的增加，通常一階段的方法在精度上遜色于二階段的方法。而檢測模型的發(fā)展趨勢大致上是，網(wǎng)絡(luò)層數(shù)的不斷加深以獲得更好的特征提取能力，圖像尺度不斷增大以覆蓋更廣范圍的特征。但模型越來越復(fù)雜也隨之帶來網(wǎng)絡(luò)難以收斂、參數(shù)增長快、計(jì)算速度慢等問題，其中最顯著的問題是隨著模型復(fù)雜度的增加，很難部署到資源有限的設(shè)備上。因此也提出一些輕量化的方法，如深度可分離卷積、Shufflenet、Ghostnet以及蒸餾剪枝的技術(shù)等，降低網(wǎng)絡(luò)的復(fù)雜度以便部署。
[0004]但是目前的檢測網(wǎng)絡(luò)也是脆弱的，表現(xiàn)在受到外部的攻擊時，性能很容易發(fā)生大幅度下降，常見的攻擊手段有FGSD(Fast gradient sign method)，IFGSD(Iterative gradient sign Method)，Deepfool，Optimization based method等，使得網(wǎng)絡(luò)分類的分?jǐn)?shù)下降甚至分類錯誤。但是攻擊也可以使得網(wǎng)絡(luò)的性能提升，在不改變模型的期望的前提下，噪聲的加入將使得網(wǎng)絡(luò)更好的區(qū)分目標(biāo)和環(huán)境，常應(yīng)用惡劣環(huán)境下的檢測，如光照不足、霧霾天氣、水下等環(huán)境下的檢測。
[0005]同時在火電廠的工作現(xiàn)場，各種設(shè)備面臨高溫容易發(fā)生散熱不及時的情況，進(jìn)而導(dǎo)致設(shè)備工作溫度過高發(fā)生事故，同時員工在高溫環(huán)境下可能出現(xiàn)注意力不集中而導(dǎo)致的操作失誤發(fā)生事故。然而目前在施工現(xiàn)場對煙火檢的監(jiān)管分為兩種思路，一是主要依賴人工監(jiān)管，專人巡邏巡視，效率低下且耗費(fèi)人力；二是利用深度學(xué)習(xí)的建立檢測網(wǎng)絡(luò)，但現(xiàn)有煙火檢測網(wǎng)絡(luò)模型存在準(zhǔn)確率低，推理速度慢，部署到邊緣計(jì)算設(shè)備時精度和實(shí)時性均達(dá)不到要求等問題。因此，利用輕量級的端到端的檢測網(wǎng)絡(luò)是煙火檢測的不二選擇。
[0006]因此，需要一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法，通過幀間差分法緩解煙霧和火焰是小目標(biāo)檢測的問題；其次通過噪聲攻擊使得網(wǎng)絡(luò)更好的區(qū)分煙火和背景，進(jìn)而減少漏檢和錯檢情況的發(fā)生；在結(jié)構(gòu)上以ResGhost減少網(wǎng)絡(luò)參數(shù)、提高檢測速度，以擴(kuò)張卷積和感受野補(bǔ)充塊聯(lián)合使用，增大單一檢測頭的感受野，實(shí)現(xiàn)實(shí)時檢測煙火事故發(fā)生情況并及時做出警報(bào)。
[0007]專利CN114821414A使用可變形卷積是為增強(qiáng)不規(guī)則的煙火檢測能力，同時面積變化用于細(xì)化類別，但是存在問題是增加了參數(shù)用于學(xué)習(xí)偏移，難以應(yīng)對大尺寸輸入圖像，依舊存在推理速度慢，小目標(biāo)煙火漏檢的問題。
[0008]本專利技術(shù)旨在提高推理速度，減少小目標(biāo)的漏檢。與專利CN114821414A的區(qū)別在于：網(wǎng)絡(luò)上，本專利技術(shù)以并行DFC減少網(wǎng)絡(luò)的參數(shù)和特征冗余，進(jìn)一步減少分類回歸的特征大小和數(shù)目，進(jìn)一步減少特征冗余，提高推理速度，為彌補(bǔ)感受野所帶來的精度下降，采取擴(kuò)張卷積和感受野補(bǔ)充塊進(jìn)行彌補(bǔ)。專利CN114821414A則是以可變形卷積增強(qiáng)檢測不規(guī)則煙火能力，網(wǎng)絡(luò)結(jié)構(gòu)和出發(fā)點(diǎn)均不同；小目標(biāo)檢測上，本專利技術(shù)采取幀間差分進(jìn)一步裁剪篩選出變化的煙火區(qū)域，減少輸入網(wǎng)絡(luò)的無關(guān)內(nèi)容，插值到指定的尺寸，提高小目標(biāo)煙火在輸入圖片的占比。專利CN114821414A中沒有本方面的操作；在類別細(xì)化上，本專利技術(shù)以噪聲攻擊調(diào)整圖像的數(shù)據(jù)分布，提高煙火與背景的區(qū)分進(jìn)而提高檢測準(zhǔn)確性，而專利CN114821414A采取面積變化頻率用于細(xì)化類別。

技術(shù)實(shí)現(xiàn)思路

[0009]本專利技術(shù)旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法。本專利技術(shù)的技術(shù)方案如下：
[0010]一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法，其包括以下步驟：
[0011]步驟1：獲取火電廠智慧管控系統(tǒng)的發(fā)生煙霧及火災(zāi)事故的監(jiān)控視頻，對視頻中發(fā)生煙霧和火焰區(qū)域進(jìn)行標(biāo)注，作為檢測網(wǎng)絡(luò)的訓(xùn)練集并進(jìn)行數(shù)據(jù)增強(qiáng)，同時將構(gòu)建的數(shù)據(jù)集命名為煙火檢測數(shù)據(jù)集；
[0012]步驟2：在YOLOv4算法的基礎(chǔ)上，使用以下改進(jìn)來構(gòu)建GS
?
YOLO檢測模型：1)以并行DFC注意力和殘差構(gòu)建ResGhost模塊，以多個ResGhost構(gòu)成GS
?
YOLO檢測模型的主干網(wǎng)絡(luò)；(2)將YOLOv4轉(zhuǎn)換為單一檢測頭，將不同擴(kuò)張率的擴(kuò)張卷積和感受野補(bǔ)充塊聯(lián)合；同時使用步驟1中的煙火檢測數(shù)據(jù)集訓(xùn)練GS
?
YOLO用于檢測監(jiān)控視頻中是否發(fā)生煙火事故；
[0013]步驟3：使用步驟2中的訓(xùn)練好的GS
?
YOLO的輸入加入可學(xué)習(xí)的攻擊噪聲；
[0014]步驟4：以幀間差分法獲取待檢測視頻火焰和煙霧的大致位置，將其以特定的長寬比進(jìn)行截取，命名為Target
?
area，作為GS
?
YOLO的輸入；
[0015]步驟5：將步驟4中的Target
?
area傳入步驟3中訓(xùn)練好的GS
?
YOLO，檢測監(jiān)控視頻中煙霧和火焰；
[0016]步驟6：根據(jù)步驟5中的檢測結(jié)果進(jìn)行相應(yīng)處理，對發(fā)生煙霧和火焰的情形進(jìn)行警報(bào)，實(shí)現(xiàn)火電廠的煙火事故的及時預(yù)警。
[0017]進(jìn)一步的，所述步驟1具體為：遍歷監(jiān)控視頻的每一幀并保存為圖片，將其中的具有煙霧和發(fā)生火災(zāi)的圖像并進(jìn)行標(biāo)注，隨后進(jìn)行包括翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整亮度在內(nèi)的增強(qiáng)方式后，隨后采用Mosaic和MixUp數(shù)據(jù)增強(qiáng)技術(shù)豐富樣本的背景和數(shù)據(jù)多樣性后構(gòu)建煙火檢測數(shù)據(jù)集。
[0018]進(jìn)一步的，所述步驟2具體為：以GhostNetv2為基礎(chǔ)，利用不同的下采樣率DFC注意力模塊構(gòu)成并行的注意力模塊，使得網(wǎng)絡(luò)注意不同尺寸下的特征；同時以殘差網(wǎng)絡(luò)構(gòu)造基礎(chǔ)的ResGhost模塊，以多個ResGhost構(gòu)成GS
?
YOLO的主干特征提取網(wǎng)絡(luò)；摒棄YOLO系列的FPN的多尺度的檢測，采取將傳統(tǒng)的特征金字塔改為一個檢測頭，即FPN中次大的特征C1進(jìn)
行預(yù)測；為彌補(bǔ)單一尺度所帶來的感受野減少，在檢測頭本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法，其特征在于，包括以下步驟：步驟1：獲取火電廠智慧管控系統(tǒng)的發(fā)生煙霧及火災(zāi)事故的監(jiān)控視頻，對視頻中發(fā)生煙霧和火焰區(qū)域進(jìn)行標(biāo)注，作為檢測網(wǎng)絡(luò)的訓(xùn)練集并進(jìn)行數(shù)據(jù)增強(qiáng)，同時將構(gòu)建的數(shù)據(jù)集命名為煙火檢測數(shù)據(jù)集；步驟2：在YOLOv4算法的基礎(chǔ)上，使用以下改進(jìn)來構(gòu)建GS
?
YOLO檢測模型：1)以并行DFC注意力和殘差構(gòu)建ResGhost模塊，以多個ResGhost構(gòu)成GS
?
YOLO檢測模型的主干網(wǎng)絡(luò)；(2)將YOLOv4轉(zhuǎn)換為單一檢測頭，將不同擴(kuò)張率的擴(kuò)張卷積和感受野補(bǔ)充塊聯(lián)合；同時使用步驟1中的煙火檢測數(shù)據(jù)集訓(xùn)練GS
?
YOLO用于檢測監(jiān)控視頻中是否發(fā)生煙火事故；步驟3：使用步驟2中的訓(xùn)練好的GS
?
YOLO的輸入加入可學(xué)習(xí)的攻擊噪聲；步驟4：以幀間差分法獲取待檢測視頻火焰和煙霧的大致位置，將其以特定的長寬比進(jìn)行截取，命名為Target
?
area，作為GS
?
YOLO的輸入；步驟5：將步驟4中的Target
?
area傳入步驟3中訓(xùn)練好的GS
?
YOLO，檢測監(jiān)控視頻中煙霧和火焰；步驟6：根據(jù)步驟5中的檢測結(jié)果進(jìn)行相應(yīng)處理，對發(fā)生煙霧和火焰的情形進(jìn)行警報(bào)，實(shí)現(xiàn)火電廠的煙火事故的及時預(yù)警。2.根據(jù)權(quán)利要求1所述的一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法，其特征在于，所述步驟1具體為：遍歷監(jiān)控視頻的每一幀并保存為圖片，將其中的具有煙霧和發(fā)生火災(zāi)的圖像并進(jìn)行標(biāo)注，隨后進(jìn)行包括翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整亮度在內(nèi)的增強(qiáng)方式后，隨后采用Mosaic和MixUp數(shù)據(jù)增強(qiáng)技術(shù)豐富樣本的背景和數(shù)據(jù)多樣性后構(gòu)建煙火檢測數(shù)據(jù)集。3.根據(jù)權(quán)利要求1所述的一種基于幀間差分法和改進(jìn)YOLOv4的火電廠煙火檢測方法，其特征在于，所述步驟2具體為：以GhostNetv2為基礎(chǔ)，利用不同的下采樣率DFC注意力模塊構(gòu)成并行的注意力模塊，使得網(wǎng)絡(luò)注意不同尺寸下的特征；同時以殘差網(wǎng)絡(luò)構(gòu)造基礎(chǔ)的ResGhost模塊，以多個ResGhost構(gòu)成GS
?
YOLO的主干特征提取網(wǎng)絡(luò)；摒棄YOLO系列的FPN的多尺度的檢測，采取將傳統(tǒng)的特征金字塔改為一個檢測頭，即FPN中次大的特征C1進(jìn)行預(yù)測；為彌補(bǔ)單一尺度所帶來的感受野減少，在檢測頭采取5個擴(kuò)張卷積提高感受野，每一層的膨脹系數(shù)分別為2，4，6，8，10，并且其間以一個殘差連結(jié)，以將兩種不同的感受野結(jié)合起來，同時在更低一層建立感受野補(bǔ)充塊，融合擴(kuò)張卷積和感受野補(bǔ)充塊的感受野進(jìn)行分類；GS
?
YOLO網(wǎng)絡(luò)以定位損失、置信度損失、分類損失為優(yōu)化目標(biāo)，直至模型收斂，保存測試集分類準(zhǔn)確率最好模型的權(quán)重，使用適應(yīng)性矩估計(jì)Adam優(yōu)化算法來更新模...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李瑞平，趙柔君，黃丹青，左濤，周云，陳亮，王馳，燕寧江，黃超生，朱華夏，李龍，張宏國，周英強(qiáng)，
申請(專利權(quán))人：國家電投集團(tuán)重慶合川發(fā)電有限公司，
類型：發(fā)明
國別省市：