一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法技術

本發明專利技術提供一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，其包括對采集到的樣本圖像進行數據擴增，對擴增后的樣本中的模糊圖像使用超分辨率模型進行重構；標注出數據集中的煙火目標，得到標注后的數據集；構建煙火檢測網絡，在其骨干網絡和檢測層之間添加自適應擠壓激勵模塊，并使用標注后的數據集訓練煙火檢測網絡；使用Hard

【技術實現步驟摘要】
一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法


[0001]本專利技術涉及計算機視覺和目標檢測
，具體涉及一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法。

技術介紹

[0002]火災是一種會造成巨大損失的災害，一旦發生嚴重威脅到我們生命和財產安全。因此如何防治火災一直是科學家們研究的一個重要課題，如果能盡早發現煙火并及時發出預警信號，在一定程度上可以大大降低火災帶來的損失。近些年來隨著人類在計算機視覺等人工智能領域取得的飛速進展，通過計算機識別圖像中的特定目標成為了可能。然而火災中的火焰和煙霧比較特殊，其顏色和形狀等視覺特征處于不斷變化之中，識別煙火比識別一般的物體要更加困難。
[0003]傳統的煙火檢測主要有基于傳感器和基于外觀特征兩種方式。傳統的基于傳感器煙火檢測主要使用濕度傳感器、氣體傳感器、溫度傳感器等傳感器來分析相對濕度、煙霧顆粒以及環境溫度等參數以判斷是否發生火災。但是這些傳感器必須很靠近著火點才能發出預警，這種檢測方法局限性十分明顯。為了及時預警就必須將這些傳感器大范圍高密度地鋪設，使得整個系統非常龐大，性價比低。傳統的基于外觀特征煙火檢測主要通過顏色和溫度等外觀特征進行學習，并使用特定的分類器判斷圖像區域內是否存在煙火。但是，僅依靠煙火的顏色特征，往往會將燈光、晚霞等目標誤判為煙火。因此，僅通過外觀特征不能夠全面地描述物體的所有屬性，很難滿足實際的需求。而基于深度學習學到的特征，能很好地表現出物體的外在和內在的關聯特征，具有更好的表達性。
[0004]綜上所述，基于深度學習的煙火檢測仍然是一個具有挑戰性的課題。因此，在目標檢測任務中提高煙火檢測的準確性和魯棒性，成為現有技術有待解決的問題。

技術實現思路

[0005]為了克服現有技術的不足，本專利技術的目的在于提供一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，該方法可以解決現有技術煙火檢測的準確性和魯棒性偏低等問題，能夠加快訓練的收斂速度，有效檢測圖像中的煙火目標，在檢測速度不受影響的前提下提高檢測精度。
[0006]為解決上述問題，本專利技術所采用的技術方案如下：
[0007]一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，該方法包括以下步驟：
[0008]采集待檢測煙火的樣本圖像，對采集到的樣本圖像進行數據擴增，對擴增后的樣本中的模糊圖像使用超分辨率模型進行重構；
[0009]對重構后的樣本集每張圖像中待檢測的火信息和煙信息進行標注，得到標注后的數據集，并保存對應的類別及位置信息；
[0010]構建煙火檢測網絡，在其骨干網絡和檢測層之間添加自適應擠壓激勵模塊，并使
用標注后的數據集訓練煙火檢測網絡；
[0011]使用Hard
?
Swish激活函數對煙火檢測網絡進行訓練，以增強煙火檢測網絡的非線性特征提取能力；
[0012]訓練煙火檢測模型，根據先驗框和真實框之間的偏差學習模型參數，選擇訓練指標最優的煙火檢測模型；
[0013]將待測試的視頻幀圖像依次輸入到最優的煙火檢測模型中，若圖像中存在煙火目標且置信度高于設置閾值，則以矩形框的形式被標記出來，并發出預警提示。
[0014]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，篩選公開數據集和錄制燃燒視頻進行截圖，收集包含待檢測煙火的圖像樣本集，其中煙火樣本集的類型包括室內起火、森林起火、車輛起火；時間包括白天起火和夜晚起火；煙霧顏色包括白色煙霧和黑色煙霧。數據擴增的具體方法有：旋轉角度、調節亮度和對比度、增加高斯模糊和椒鹽噪聲，獲得擴增后的煙火圖像數據集。
[0015]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，所述對擴增后的樣本中的模糊圖像使用超分辨率模型進行重構，包括：在篩選出擴增后的煙火圖像數據集中的模糊圖像后，使用超分辨率對抗生成超分辨率模型SRGAN進行圖像重構，利用感知損失和對抗損失提高恢復圖像的清晰度和保真度，得到清晰的煙火數據集；其中，超分辨率模型SRGAN由生成器網絡和鑒別器網絡共同組成，生成器網絡包括6個殘差模塊，以及批歸一化層和激活函數層；鑒別器網絡包含8個卷積層，其中4個步長為2，并由Leaky ReLU函數激活，并連接到2個全連接層上。
[0016]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，使用圖像標注軟件labelImg標注清晰的煙火數據集中的所有煙火目標，被標注的區域作為正樣本，未標注的區域作為負樣本，對應的類別信息和位置信息都保存在后綴為xml的文件中。
[0017]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，所述構建煙火檢測網絡包括：選擇YOLOv5作為基線網絡，采用Darknet53作為骨干網絡進行特征提取，在其骨干網絡和檢測層之間添加自適應擠壓激勵模塊；在網絡的高層語義檢測層上添加特征金字塔池化模塊，將用于目標檢測的特征圖像與局部特征和全局特征融合；在檢測層中添加一個尺度為104
×
104的YOLO檢測頭進行多尺度特征融合；在104
×
104和52
×
52的兩個檢測尺度上添加感受野模塊，通過引入多分支卷積和空洞卷積，從而有效增大感受野。
[0018]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，所述自適應擠壓激勵模塊的具體結構為：
[0019]將輸入的一個H
×
W
×
C1的特征圖分為兩條分支，第一條分支首先經過一個全局池化層，輸出是1
×1×
C1，其次經過一個全連接層，輸出是1
×1×
C/r，然后經過一個ReLU激活函數后再輸入到一個全連接層中，輸出是1
×1×
C，最后經過一個Sigmoid函數，輸出是1
×1×
C2；第二條分支則直接輸出原始的輸入特征圖H
×
W
×
C1，即跳躍連接；
[0020]其中，在自適應擠壓激勵模塊中，增加有信道權值變換的相似性度量，用皮爾遜相關系數來衡量兩個張量的相似性，表示為公式(1)；對于小于相似閾值α的變換，采用殘差結構張量加法。對于大于相似閾值α的變換，采用直接替換；
[0021][0022]其中，x1為輸入張量，x2為輸出張量，f1為用于計算兩個張量中通道權重的皮爾遜相關系數，α為相似閾值。
[0023]根據本專利技術提供的一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，在網絡的高級語義圖像檢測層即特征尺度為13
×
13的檢測通道增加特征金字塔池化模塊，具體包括：特征金字塔池化模塊首先將輸入特征經過1
×
1的卷積，使信道數減半，然后由四個分支并行操作，分別是卷積核為5
×
5、9
×
9、13
×
13的最大池化和一個跳躍連接，即對卷積操作后的特征圖采用5
×本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于超分辨率重構和自適應擠壓激勵的煙火檢測方法，其特征在于，該方法包括以下步驟：采集待檢測煙火的樣本圖像，對采集到的樣本圖像進行數據擴增，對擴增后的樣本中的模糊圖像使用超分辨率模型進行重構；對重構后的樣本集每張圖像中待檢測的火信息和煙信息進行標注，得到標注后的數據集，并保存對應的類別及位置信息；構建煙火檢測網絡，在其骨干網絡和檢測層之間添加自適應擠壓激勵模塊，并使用標注后的數據集訓練煙火檢測網絡；使用Hard
?
Swish激活函數對煙火檢測網絡進行訓練，以增強煙火檢測網絡的非線性特征提取能力；訓練煙火檢測模型，根據先驗框和真實框之間的偏差學習模型參數，選擇訓練指標最優的煙火檢測模型；將待測試的視頻幀圖像依次輸入到最優的煙火檢測模型中，若圖像中存在煙火目標且置信度高于設置閾值，則以矩形框的形式被標記出來，并發出預警提示。2.根據權利要求1所述的方法，其特征在于，所述對擴增后的樣本中的模糊圖像使用超分辨率模型進行重構，包括：在篩選出擴增后的煙火圖像數據集中的模糊圖像后，使用超分辨率對抗生成超分辨率模型SRGAN進行圖像重構，利用感知損失和對抗損失提高恢復圖像的清晰度和保真度，得到清晰的煙火數據集；其中，超分辨率模型SRGAN由生成器網絡和鑒別器網絡共同組成，生成器網絡包括6個殘差模塊，以及批歸一化層和激活函數層；鑒別器網絡包含8個卷積層，其中4個步長為2，并由Leaky ReLU函數激活，并連接到2個全連接層上。3.根據權利要求1所述的方法，其特征在于：所述構建煙火檢測網絡包括：選擇YOLOv5作為基線網絡，采用Darknet53作為骨干網絡進行特征提取，在其骨干網絡和檢測層之間添加自適應擠壓激勵模塊；在網絡的高層語義檢測層上添加特征金字塔池化模塊，將用于目標檢測的特征圖像與局部特征和全局特征融合；在檢測層中添加一個尺度為104
×
104的YOLO檢測頭進行多尺度特征融合；在104
×
104和52
×
52的兩個檢測尺度上添加感受野模塊，通過引入多分支卷積和空洞卷積，從而有效增大感受野。4.根據權利要求1所述的方法，其特征在于：所述自適應擠壓激勵模塊的具體結構為：將輸入的一個H
×
W
×
C1的特征圖分為兩條分支，第一條分支首先經過一個全局池化層，輸出是1
×1×
C1，其次經過一個全連接層，輸出是1
×1×
C/r，然后經過一個ReLU激活函數后再輸入到一個全連接層中，輸出是1
×1×
C，最后經過一個Sigmoid函數，輸出是1
×1×
C2；第二條分支則直接輸出原始的輸入特征圖H
×
W
×
C1，即跳躍連接；其中，在自適應擠壓激勵模塊中，增加有信道權值變換的相似性度量，用皮爾遜相關系數來衡量兩個張量的相似性，表示為公式(1)；對于小于相似閾值α的變換，采用殘差結構張量加法。對于大于相似閾值α的變換，采用直接替換；
其中，x1為輸入張量，x2為輸出張量，f1為用于計算兩個張量中通道權重的皮爾遜相關系數，α為相似閾值。5.根據權利要求3所述的方法，其特征在于：在網絡的高級語義圖像檢測層即特征尺度為13
×
13的檢測通道增加特征金字塔池化模塊，具體包括：特征金字塔池化模塊首先將輸入特征經過1
×
1的卷積，使信道數減半，然后由四個分支并行操作，分別是卷積核為5
×
5、9
×
9、13
×
13的最大池化和一個跳躍連接，即對卷積操作后的特征圖采用5
×
5、9
×
9以及13
×
13的最大池化操作，池化步長均為1，完成上述池化步驟后的特征圖再與1
...

【專利技術屬性】
技術研發人員：張樹琪，鄭浩東，江澤，單永明，張蘋，
申請(專利權)人：珠海市金銳電力科技有限公司，
類型：發明
國別省市：