【技術(shù)實現(xiàn)步驟摘要】
基于任意四邊形回歸的目標(biāo)檢測與精確定位方法
[0001]本專利技術(shù)屬于計算機視覺領(lǐng)域、目標(biāo)檢測
，涉及一種基于任意四邊形回歸的目標(biāo)檢測與精確定位方法。
技術(shù)介紹
[0002]目標(biāo)檢測是計算機視覺領(lǐng)域的基本任務(wù)之一，近些年隨著深度學(xué)習(xí)技術(shù)的發(fā)展，目標(biāo)檢測算法也從基于手工特征的傳統(tǒng)算法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)的檢測技術(shù)。
[0003]隨著計算機視覺分類識別任務(wù)的深入研究，基于卷積神經(jīng)網(wǎng)絡(luò)檢測算法的研究已經(jīng)從算法的通用目標(biāo)檢測精度提升和檢測速度提升，逐漸拓展到特定領(lǐng)域的目標(biāo)檢測。一些場景的目標(biāo)普遍帶有任意旋轉(zhuǎn)的多角度，普通正框檢測的方法無法滿足需求，比如遙感目標(biāo)檢測、貨架商品檢測、自然場景下的文本檢測、頂拍魚眼鏡頭下的人體或物體檢測。與通用目標(biāo)檢測相比，特定目標(biāo)檢測有更為具體的研究背景，其研究內(nèi)容也往往是針對這些特殊背景展開。
[0004]以工業(yè)應(yīng)用中的儀表檢測識別任務(wù)為例，當(dāng)前，深度學(xué)習(xí)方法廣泛應(yīng)用到儀表檢測定位中，采取通用目標(biāo)檢測任務(wù)中位置預(yù)測方式，定位儀表所在的最小外接矩形框，效果遠高于傳統(tǒng)檢測定位方式。但是由于儀表檢測任務(wù)具有一定特殊性，需要準(zhǔn)確獲取儀表的表盤位置，對其進行傾斜校正以方便后續(xù)讀數(shù)識別等任務(wù)。只定位包圍儀表的最小矩形具有很大的局限性，可能會對后續(xù)任務(wù)帶來不良影響，需要更加精確的定位結(jié)果。
[0005]利用計算機視覺技術(shù)進行目標(biāo)檢測與精確定位的難點主要有兩方面：第一，目標(biāo)由于角度的傾斜很可能會發(fā)生形變，需要進行目標(biāo)區(qū)域傾斜校正，因此，算法要具備可以預(yù)測任意四邊形位置的能力，通
【技術(shù)保護點】
【技術(shù)特征摘要】 【專利技術(shù)屬性】
1.一種基于任意四邊形回歸的目標(biāo)檢測與精確定位方法，其特征在于步驟如下：步驟1：構(gòu)建基于任意四邊形回歸的目標(biāo)檢測網(wǎng)絡(luò)模型，該模型基于Faster RCNN網(wǎng)絡(luò)模型搭建，于Faster RCNN網(wǎng)絡(luò)的ROI Align池化層與邊框回歸分支的輸出端連接基于多重注意力機制特征交互融合的關(guān)鍵點檢測分支Grid Head；所述關(guān)鍵點檢測分支Grid Head基于全卷積網(wǎng)絡(luò)搭建，包括用于特征提取的卷積序列、增大特征局部映射模塊、特征交互融合模塊、改變特征尺寸的反卷積層以及混合級聯(lián)結(jié)構(gòu)；使用卷積序列對輸入的待檢測圖像特征進行特征提取，特征提取后增大特征并進行局部映射，再使用基于多重注意力機制的特征融合模塊對提取的特征進行多級融合處理，將融合輸出的特征圖輸入到多層反卷積層，輸出用于提取關(guān)鍵點坐標(biāo)的熱力圖，利用多任務(wù)多階段的混合級聯(lián)結(jié)構(gòu)與信息交互結(jié)合邊框回歸結(jié)果進一步提精，將最終得到的熱力圖轉(zhuǎn)換得到待檢測目標(biāo)關(guān)鍵區(qū)域的任意四邊形四個頂點Grid Point的坐標(biāo)信息；步驟2：于監(jiān)控設(shè)備下自行采集目標(biāo)圖片數(shù)據(jù)并整理，劃分圖像訓(xùn)練集、驗證集和測試集后，對每一幅目標(biāo)圖像分別進行相應(yīng)的數(shù)據(jù)增強手段，增強處理前后的圖像共同構(gòu)成目標(biāo)圖像數(shù)據(jù)集；步驟3：以步驟2得到的圖像數(shù)據(jù)集中的訓(xùn)練集與驗證集為輸入，采用隨機梯度下降法對步驟1構(gòu)建的基于任意四邊形回歸的目標(biāo)檢測網(wǎng)絡(luò)模型進行訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型，使用測試集對得到的網(wǎng)絡(luò)模型進行性能評估；步驟4：將待檢測的目標(biāo)圖像輸入到步驟3訓(xùn)練好的網(wǎng)絡(luò)模型中，輸出得到類別信息和目標(biāo)關(guān)鍵區(qū)域任意四邊形的頂點坐標(biāo)，在完成目標(biāo)檢測的基礎(chǔ)上進一步精確定位。2.根據(jù)權(quán)利要求1所述的一種基于任意四邊形回歸的目標(biāo)檢測與精確定位方法，其特征在于：所述步驟1的增大特征局部映射的具體過程如下：對于待檢測的目標(biāo)來說，所有的Grid Point共享一個相同的特征表達區(qū)域，為了解決特征表達區(qū)域的問題，改變熱力圖預(yù)測的關(guān)鍵點位置坐標(biāo)與該點對應(yīng)于原圖位置坐標(biāo)的映射關(guān)系，過程為：首先，將輸入Grid Head的特征圖的寬高擴大到原來的兩倍，增大特征圖在原圖上映射的區(qū)域，將Grid Point包含在RPN網(wǎng)絡(luò)生成的候選框內(nèi)部；然后，將放大后的特征圖按照Grid Point所在的位置局部映射，對于每個Grid Point，新的輸出代表了整張?zhí)卣鲌D四分之一的區(qū)域，四個Grid Point對應(yīng)的熱力圖由完整特征的不同區(qū)域生成，而不是所有的關(guān)鍵點共享一個相同的特征表達區(qū)域；處理后，每個Grid Point的表達能近似地視為一個歸一化的過程，在不增加計算量的同時，提升了定位精度。3.根據(jù)權(quán)利要求1所述的一種基于任意四邊形回歸的目標(biāo)檢測與精確定位方法，其特征在于：所述步驟1的基于多重注意力機制特征交互融合的具體過程如下：用于特征提取的卷積序列由多個卷積層構(gòu)成，對輸入的待檢測圖像特征F
din
進行特征提取，提取后的特征記為F
d
，特征提取時先增大特征并進行局部映射，再使用基于多重注意力機制的特征融合模塊對提取的特征F
d
進行多級融合處理，具體如下：將特征F
d
按照通道平均分成M組，與第i個Grid Point對應(yīng)的特征圖記為F
di
，與源點集合S
i
中的第j個點對應(yīng)的特征圖記為F
dj
，i＝1,2,
…
,M，M為Grid Point點數(shù)，j＝1,2,
…
,K
i
，K
i
為源點集合S
i
中包含的源點個數(shù)；
所述的源點為Grid網(wǎng)格中與第i個Grid Point距離為1的點，所有源點構(gòu)成源點集合；然后，將特征圖F
dj
通過卷積層，得到對應(yīng)的新的待融合特征圖，記為T
d:j
→
i
(F
dj
)；接著，將特征圖F
di
與融合的特征圖T
d:j
→
i
(F
dj
)按下式進行相加融合處理，i＝1,2,
…
,M，得到融合后的特征圖F
′
di
：然后，對特征圖F
′
di
按照下式進行二次相加融合處理，得到二級融合特征圖F
″
di
：其中，T
′
j
→
i
(F
′
dj
)表示特征圖F
′
dj
通過卷積層得到的新的二級待融合特征圖，卷積層結(jié)構(gòu)與前面得到特征圖T
d:j
→
i
(F
dj
)中的卷積層結(jié)構(gòu)相同，i＝1,2,
…
,M，j＝1,2,
…
,K
i
；對于二次融合得到的多級特征{F
di
,F
′
dj
,F
″
di
技術(shù)研發(fā)人員：李暉暉，馮昱霖，劉航，
申請(專利權(quán))人：西北工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。