【技術實現步驟摘要】
本專利技術涉及一種基于ts-maskformer的冰情視頻圖像識別方法，屬于計算機視覺圖像識別領域。
技術介紹
1、近年來，海冰(sea?ice)、河(湖)冰(river&lake?ice)被全球觀測系統(gcos)列為“基本氣候變量(ecv)”，對河(湖)冰的凍結時間、解凍時間、持續時間和模式等的長期監測，能夠反映當地氣候的變化。在中國北方寒冷地區的河流，每年河流中都會產生流冰和封凍進而導致凌汛，也俗稱“冰排”，是一種冰凌堵塞河道對水流產生阻力而引起的江河水位明顯上漲的水文現象。水面結冰的河道，上游河冰先融，下游河道尚未解凍，造成浮冰堵塞引起水位上漲，且大面積浮冰會撞擊、切割堤岸、橋梁和碼頭等水上建筑物，可能導致堤防潰決，洪水泛濫成災。凌汛期發生險情時需采取及時的破冰措施，因此，及時準確監測冰情信息變化情況，能夠有效指導防凌汛工作和預防凌汛造成的災害。綜上，冰情的監測日益成為一個重要的研究方向。
2、目前冰情的監測數據主要來源于遙感衛星圖像、激光雷達或紅外傳感器以及現場手動測量等，但這些數據獲取通常對硬件成本較高，且不能保證數據的實時性，而基于冰情視頻數據的冰情監測研究較少，xiao[xiao，m.，rothermel，m.，tom，m.，galliani，s.，baltsavias,e.，schindler,k.，2018.lake?ice?monitoring?with?webcams[j].isprsannals?of?photogrammetry,remote?sensing?and?spatial
3、獲取到的冰情數據處理分析主要有三類方法：基于光譜特征的方法，它利用冰面和周圍環境的吸收率、折射率等光譜特性的不同，但這種方法通常需要反復實驗來確定區分閾值，泛化性能較差；基于傳統機器學習的方法，如支持向量機(svm)、隨機森林(randomforest)、決策樹等，但其學習能力不夠強，冰面提取的準確率較低；基于深度學習的方法，如卷積神經網絡(cnn)、殘差網絡(resnet)等的提出，深度學習的方法得到更多的重視與更好的效果，但目前采用深度學習進行冰情視頻圖像識別的研究較少，zhang[zhang?h，liuy，li?x.ice?concentration?estimation?using?deep?learning?from?sar?imagery[j].ieee?geoscience?and?remote?sensing?letters.2018；15(2)：238-242.]等人在2019年的工作提出了一種基于深度學習的方法，利用合成孔徑雷達(sar)圖像來估計冰濃度，使用卷積神經網絡(cnn)對sar圖像進行特征提取和分類，實現了準確的冰濃度估計。且將普通深度學習模型直接應用于冰情識別的場景效果不理想，仍需要對模型進一步改進和優化。
技術實現思路
1、專利技術目的：本專利技術的目的在于解決現有技術中存在的不足，提出了一種基于ts-maskformer的冰情視頻圖像識別方法。所提方法通過監控視頻獲取數據，硬件成本低且實時性高，提出一種ts-maskformer模型能夠以較高的精度識別冰情視頻圖像，并基于識別結果計算冰面覆蓋率。
2、技術方案：本專利技術為一種基于ts-maskformer的冰情視頻圖像識別方法，包括以下步驟：
3、s1、采集監控攝像頭的原始視頻數據，將讀取到的視頻截取圖像幀并分類；
4、s2、冰情圖像幀預處理，使用一種基于sam的半監督標注方法標注預處理后的圖像，構建冰情圖像數據集，包括訓練集、驗證集和測試集；
5、s3、構建ts-maskformer模型，利用構建的冰情圖像檢測與識別數據集，對模型進行訓練，得到基于ts-maskformer的冰情圖像檢測與識別模型；
6、s4、使用s3訓練完成的基于ts-maskformer的冰情圖像檢測與識別模型對冰情圖像檢測，根據識別結果計算冰面覆蓋率(ci)。
7、進一步地，所述步驟s1的實現過程如下：采集監控攝像頭的視頻數據，將讀取到的視頻截取圖像幀，把圖像分為5類：冰封、融冰開始、浮冰漂移、融冰結尾、夜間。
8、進一步地，所述步驟s2的實現過程如下：冰情圖像幀預處理，對5類圖像進行數據清洗去重，針對夜間這類圖像有霧模糊不清的問題，提出快速ace算法實現對冰情圖像的去霧增強。快速ace算法的實現過程如下：
9、i.輸入一個彩色圖像i，以及去霧參數包括對比度增強因子ration和卷積模板半徑radius。
10、ii.創建一個與輸入圖像大小相同的零矩陣res，用于存儲去霧后的結果。
11、iii.循環遍歷rgb三通道(紅色、綠色、藍色)。
12、iv.對于每個通道，使用單通道ace算法進行快速增強的去霧處理。具體遞歸調用過程為：
13、g.若圖像的高度和寬度中的最小值小于等于2，則返回一個與輸入圖像大小相同的矩陣，所有元素為0.5，停止遞歸；
14、h.如果圖像的尺寸大于2，則將輸入圖像縮小一半，即寬度和高度分別除以2；
15、i.對縮小后的圖像進行遞歸調用單通道ace算法，傳入縮小后的圖像、去霧參數ratio和半徑radius；
16、j.將遞歸調用的結果進行放大，將寬度和高度恢復為原始圖像的大小；
17、k.將縮小后的圖像也恢復為原始圖像的大小。
18、l.計算最終的結果，將遞歸調用的結果加上常規ace算法對原始圖像進行去霧處理的結果，再減去對縮小后的圖像進行去霧處理的結果。
19、v.對處理后的圖像進行線性拉伸處理，將圖像的像素值映射到[0，1]的范圍內，以增強圖像的對比度。
20、vi.將處理后的通道圖像存儲在結果矩陣res的相應通道中得到去霧結果。
21、根據問題定義，使用一種基于sam的半監督標注方法對預處理后的數據進行標注，將圖像像素劃分為背景(background)、水體(water)和冰面(ice)三類，構建冰情圖像數據集，包括訓練集、驗證集和測試集。基于sam的半監督標注方法實現過程如圖3所示，輸入預處理冰情圖像數據，使用預訓練sam(segment?anything)模型進行推理標注，判斷標注誤差是否小于閾值，若誤差大于閾值則手動輸入prompt輔助循環校正，若誤差小于閾值則得到最終標注結果。
22、進一步地，所述步驟s3的實現過程如下：構建ts-maskformer模型，利用構建的冰情圖像檢測與識別數據集，對模型進行訓練，得到基于ts-maskformer的冰情圖像檢測與識別模型。其中ts-maskformer模型結構如圖5所示，由第一、第二階段ma本文檔來自技高網...
【技術保護點】
1.一種基于TS-MaskFormer的冰情視頻圖像識別方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的基于TS-MaskFormer的冰情視頻圖像識別方法，其特征在于：所述步驟S1的詳細過程為：
3.根據權利要求1所述的基于TS-MaskFormer的冰情視頻圖像識別方法，其特征在于：所述步驟S2中快速ACE算法的圖像增強實現過程如下：
4.根據權利要求1所述的基于TS-MaskFormer的冰情視頻圖像識別方法其特征在于：所述步驟S3中TS-MaskFormer模型具體包括：第一、第二階段MaskFormer和fusion?module融合模塊三個部分。每個階段的MaskFormer模型都由pixel-level模塊、transformer模塊和segmentation模塊組成。pixel-level?module包含backbone骨干網絡和pixel?decoder像素級解碼器，第一階段模型的backbone為Swin-Transformer?backbones，第二階段模型的backbone為ResNet?backbones
5.根據權利要求1所述的基于TS-MaskFormer的冰情視頻圖像識別方法，其特征在于，所述步驟S4冰面覆蓋率計算方法為：根據模型識別結果統計冰面像素點Pi與水面像素點Pw，計算冰面覆蓋率Ci：
...【技術特征摘要】
1.一種基于ts-maskformer的冰情視頻圖像識別方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的基于ts-maskformer的冰情視頻圖像識別方法，其特征在于：所述步驟s1的詳細過程為：
3.根據權利要求1所述的基于ts-maskformer的冰情視頻圖像識別方法，其特征在于：所述步驟s2中快速ace算法的圖像增強實現過程如下：
4.根據權利要求1所述的基于ts-maskformer的冰情視頻圖像識別方法其特征在于：所述步驟s3中ts-maskformer模型具體包括：第一、第二階段maskformer和fusion?module融合模塊三個部分。每個階段的maskformer模型都由pixel-level模塊、transformer模塊和segmentation模塊組成。pixel-level?module包含backbone骨干網絡和pixel?decoder像素級解碼器，第一階段模型的backbone為swin-transform...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。