本發(fā)明專利技術(shù)涉及軌道巡檢技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的軌道巡檢方法、裝置、設(shè)備及介質(zhì)，包括如下步驟：實時獲取軌道2D圖像和扣件3D圖像并進行預(yù)處理；對軌道2D圖像進行識別，篩選出疑似異物圖片，再使用軌道檢測模型進行二次分類識別，確定最終異物圖片并獲取相關(guān)位置；使用扣件檢測模型對扣件3D圖像進行分類識別并輸出候選定位區(qū)域，輸出最終扣件定位坐標；對扣件所在位置進行裁剪，通過扣件檢測模型進行檢測后并輸出扣件分類情況，當扣件檢測情況分類為正常時，根據(jù)扣件3D圖像的三維點云數(shù)據(jù)進行離縫值測量，本發(fā)明專利技術(shù)將深度學(xué)習(xí)的目標檢測算法與時序網(wǎng)絡(luò)結(jié)合，實現(xiàn)扣件的準確定位，以及在提高缺陷檢測準確性的同時提高檢測速度。速度。速度。
【技術(shù)實現(xiàn)步驟摘要】
一種基于深度學(xué)習(xí)的軌道巡檢方法、裝置、設(shè)備及介質(zhì)
[0001]本專利技術(shù)涉及軌道巡檢
，具體涉及一種基于深度學(xué)習(xí)的軌道巡檢方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
[0002]在列車運行中，軌道是列車運行的基礎(chǔ)，良好的軌道狀況是列車安全行駛的保障，但隨著我國高速鐵路的不斷發(fā)展，傳統(tǒng)的人工巡檢方式已然不能滿足目前鐵路的發(fā)展現(xiàn)狀。
[0003]隨著計算機視覺技術(shù)的出現(xiàn)以及逐步完善，許多基于計算機視覺技術(shù)實現(xiàn)的自動檢測方法被設(shè)計出來運用于各個場景中，將應(yīng)用計算機視覺檢測技術(shù)到軌道巡檢中，可以替代人工巡檢方式，提高檢測效率，但常用的方法多為通過當前拍攝的特征圖像與提取的軌道部件標準圖像進行對比，根據(jù)匹配度來確定是否存在軌道缺陷，此方法檢測精度低，且存在扣件定位不準的問題。
技術(shù)實現(xiàn)思路
[0004]本專利技術(shù)的目的是提供一種基于深度學(xué)習(xí)的軌道巡檢方法、裝置、設(shè)備及介質(zhì)，將深度學(xué)習(xí)的目標檢測算法與時序網(wǎng)絡(luò)結(jié)合，實現(xiàn)扣件的準確定位，以及在提高缺陷檢測準確性的同時提高檢測速度。
[0005]為實現(xiàn)上述目的，本專利技術(shù)提供了如下的技術(shù)方案：第一方面，本專利技術(shù)提供了一種基于深度學(xué)習(xí)的軌道巡檢方法，包括如下步驟：S1.實時獲取軌道2D圖像和扣件3D圖像以及對應(yīng)的采集位置，分別對軌道2D圖像和扣件3D圖像進行預(yù)處理；S2.基于步驟S1，使用圖像識別算法對預(yù)處理后的軌道2D圖像進行識別，篩選出疑似異物圖片，將疑似異物圖片輸入預(yù)先建立好的軌道檢測模型中，對疑似異物圖片進行二次分類識別，根據(jù)識別置信度與設(shè)定閾值的比較情況確定最終異物圖片并獲取相關(guān)位置；S3.基于步驟S1，將預(yù)處理后的扣件3D圖像輸入預(yù)先建立好的扣件檢測模型中，對扣件缺陷進行分類識別并輸出候選定位區(qū)域，對候選定位區(qū)域使用NMS非極大值抑制，輸出最終扣件定位坐標；S4.基于步驟S3，根據(jù)扣件定位坐標對圖片中扣件所在位置進行裁剪，通過扣件檢測模型進行檢測后并輸出扣件分類情況，當扣件檢測情況分類為正常時，根據(jù)扣件3D圖像的三維點云數(shù)據(jù)進行離縫值測量。
[0006]進一步的，獲取軌道2D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺2D線掃相機，每臺2D線掃相機負責部分軌道寬度的掃描，設(shè)置固定行頻，同步觸發(fā)多臺2D線掃相機進行拍攝得到軌道2D圖像；獲取扣件3D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺用于拍攝扣件的線激光3D相機，設(shè)置固定行頻，對相鄰線激光3D相機進行異步觸發(fā)，對獲取的3D點云數(shù)據(jù)
進行拼接得到扣件完整3D圖像。
[0007]進一步的，對軌道2D圖像進行預(yù)處理的方法為：對圖像進行去噪和濾波，將多臺2D線掃相機在同一時間同步拍攝的圖像進行拼接和歸一化，得到在固定行頻內(nèi)的完整幅面軌道2D圖像；對扣件3D圖像進行預(yù)處理的方法為：將扣件3D圖像進行降維處理，對降維后的扣件2D圖像再進行去噪和濾波處理。
[0008]進一步的，使用圖像識別算法對預(yù)處理后的軌道2D圖像進行識別的具體步驟為：S21.對預(yù)處理后的軌道2D圖像進行邊緣檢測，得到第一圖片；S22.基于步驟S21，對第一圖片進行形態(tài)學(xué)的閉運算操作，得到第二圖片；S23.基于步驟S22，對第二圖片尋找連通域并返回輪廓，得到疑似異物圖片。
[0009]進一步的，軌道檢測模型的建立步驟為：使用軌道異物圖片樣本集進行軌道檢測模型訓(xùn)練，搜集誤識別區(qū)域并進行二次訓(xùn)練，得到最終軌道檢測模型。
[0010]進一步的，扣件檢測模型的建立步驟為：S31.將扣件樣本均衡分為測試集和訓(xùn)練集，將扣件測試集圖片輸入yolox網(wǎng)絡(luò)中，完成預(yù)設(shè)周期的訓(xùn)練，得到扣件粗略檢測模型；S32.基于步驟S31，將扣件訓(xùn)練集樣本輸入扣件粗略檢測模型中，篩選出誤識別扣件樣本圖片，將誤識別扣件樣本圖片作為再訓(xùn)練集；S33.基于步驟S32，隨機選取再訓(xùn)練集樣本圖片進行再訓(xùn)練，優(yōu)化模型，得到最終扣件檢測模型。
[0011]優(yōu)選的，訓(xùn)練扣件檢測模型時，將檢測結(jié)果分為彈條正常、彈條松動、彈條脫落、螺絲正常、螺絲松動、螺絲脫落六個類別。
[0012]第二方面，本專利技術(shù)提供一種軌道巡檢裝置，包括：位置獲取模塊，包括PLC控制模塊和編碼器，所述編碼器安裝于沿當前軌道運行的巡檢小車從動輪上，所述PLC控制模塊用于根據(jù)編碼器輸出的脈沖計數(shù)，得出小車行駛距離獲取小車行進位置；位置校準模塊，包括設(shè)置于巡檢小車上的2D相機、傳感器以及在軌道兩側(cè)間隔預(yù)設(shè)距離設(shè)置的感應(yīng)桿，所述感應(yīng)桿上設(shè)置有桿號，所述傳感器感應(yīng)到感應(yīng)桿則觸發(fā)2D相機拍照獲取感應(yīng)桿桿號，通過桿號位置對巡檢小車位置進行校準；圖像采集模塊，包括2D圖像采集模塊和3D圖像采集模塊，所述2D圖像采集模塊用于采集軌道圖像，所述3D圖像采集模塊用于采集扣件圖像；圖像處理模塊，用于對采集的2D圖像和3D圖像進行預(yù)處理；識別分類模塊，用于分別對軌道2D圖像和扣件3D圖像進行分類識別。
[0013]第三方面，本專利技術(shù)提供了一種電子設(shè)備，包括處理器、存儲器及存儲在所述存儲器上并可用在所述處理器上運行的控制程序，所述控制程序被所述處理器執(zhí)行時實現(xiàn)如第一方面中任一項所述的軌道巡檢方法。
[0014]第四方面，本專利技術(shù)提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如第一方面中任一項所述的軌道巡檢方法。
[0015]本專利技術(shù)的有益效果是：
1）同時采集軌道2D圖像和扣件3D圖像，可同時對道床異物、軟枕缺陷、鋼軌缺陷、扣件缺陷進行檢測，檢測全面。
[0016]2）對軌道2D圖像分類時采用二次分類識別，對扣件3D圖像分類時采用先定位再識別分類，降低運算復(fù)雜度，提高缺陷檢測準確性且提高檢測速度。
附圖說明
[0017]附圖用來提供對本專利技術(shù)的進一步理解，并且構(gòu)成說明書的一部分，與本專利技術(shù)的實施例一起用于解釋本專利技術(shù)，并不構(gòu)成對本專利技術(shù)的限制。在附圖中：圖1是本專利技術(shù)的步驟圖；圖2是本專利技術(shù)道床異物檢測過程示意圖；圖3是本專利技術(shù)鋼軌表面檢測示意圖；圖中的標記：1為預(yù)處理后的軌道2D圖像，2為第一圖片，3為第二圖片，4為疑似異物圖片，5為最終異物圖片，6為預(yù)處理后的鋼軌表面原始圖片，7為鋼軌表面缺陷最終圖片。
具體實施方式
[0018]實施例1如圖1所示，本專利技術(shù)提供了一種基于深度學(xué)習(xí)的軌道巡檢方法，包括如下步驟：S1.實時獲取軌道2D圖像和扣件3D圖像以及對應(yīng)的采集位置，分別對軌道2D圖像和扣件3D圖像進行預(yù)處理，其中：獲取軌道2D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺2D線掃相機，每臺2D線掃相機負責部分軌道寬度的掃描，設(shè)置固定行頻，同步觸發(fā)多臺2D線掃相機進行拍攝得到軌道2D圖像，通過編碼器觸發(fā)的機制來保證圖像不隨速度的變化而失真，而且保證多臺相機觸發(fā)同步，可以完美的對圖像進行拼接，在一個實施例中，2D線掃相機數(shù)量為5臺，固定行頻為0.5mm；獲取扣件3D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺用于拍攝扣件的線激光3D相機，設(shè)置固定行頻，對相鄰線激光3D相機進行異步觸發(fā)，對獲取的3D點云數(shù)據(jù)進行拼接得到扣件完整3D圖本文檔來自技高網(wǎng)...
【技術(shù)保護點】
【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的軌道巡檢方法，其特征在于，包括如下步驟：S1.實時獲取軌道2D圖像和扣件3D圖像以及對應(yīng)的采集位置，分別對軌道2D圖像和扣件3D圖像進行預(yù)處理；S2.基于步驟S1，使用圖像識別算法對預(yù)處理后的軌道2D圖像進行識別，篩選出疑似異物圖片，將疑似異物圖片輸入預(yù)先建立好的軌道檢測模型中，對疑似異物圖片進行二次分類識別，根據(jù)識別置信度與設(shè)定閾值的比較情況確定最終異物圖片并獲取相關(guān)位置；S3.基于步驟S1，將預(yù)處理后的扣件3D圖像輸入預(yù)先建立好的扣件檢測模型中，對扣件缺陷進行分類識別并輸出候選定位區(qū)域，對候選定位區(qū)域使用NMS非極大值抑制，輸出最終扣件定位坐標；S4.基于步驟S3，根據(jù)扣件定位坐標對圖片中扣件所在位置進行裁剪，通過扣件檢測模型進行檢測后并輸出扣件分類情況，當扣件檢測情況分類為正常時，根據(jù)扣件3D圖像的三維點云數(shù)據(jù)進行離縫值測量。2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的軌道巡檢方法，其特征在于：獲取軌道2D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺2D線掃相機，每臺2D線掃相機負責部分軌道寬度的掃描，設(shè)置固定行頻，同步觸發(fā)多臺2D線掃相機進行拍攝得到軌道2D圖像；獲取扣件3D圖像的方法為：在巡檢小車的同一水平高度處安裝多臺用于拍攝扣件的線激光3D相機，設(shè)置固定行頻，對相鄰線激光3D相機進行異步觸發(fā)，對獲取的3D點云數(shù)據(jù)進行拼接得到扣件完整3D圖像。3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的軌道巡檢方法，其特征在于：對軌道2D圖像進行預(yù)處理的方法為：對圖像進行去噪和濾波，將多臺2D線掃相機在同一時間同步拍攝的圖像進行拼接和歸一化，得到在固定行頻內(nèi)的完整幅面軌道2D圖像；對扣件3D圖像進行預(yù)處理的方法為：將扣件3D圖像進行降維處理，對降維后的扣件2D圖像再進行去噪和濾波處理。4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的軌道巡檢方法，其特征在于：使用圖像識別算法對預(yù)處理后的軌道2D圖像進行識別的具體步驟為：S21.對預(yù)處理后的軌道2D圖像進行邊緣檢測，得到第一圖片；S22.基于步驟S21，對第一圖片進行形態(tài)學(xué)的閉運算操作，得到第二圖片；S23.基于步驟S22，對第二圖片尋找連通域并返回輪廓，得到疑似異...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊文浩，楊文靜，徐崢，王亞南，
申請(專利權(quán))人：蘇州振暢智能科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。