【技術實現步驟摘要】
本專利技術涉及計算機視覺目標檢測,具體涉及一種夜間道路拋灑物檢測方法、系統、電子設備及存儲介質。
技術介紹
1、道路上的拋灑物可能包括車輛零部件、貨物、交通事故殘留物以及其他雜物,這些物體會對道路安全構成威脅,特別是在夜間光照條件不足的情況下,駕駛員的視線會受到限制,道路上拋灑物的存在會增加道路安全的隱患,影響夜間行車安全。
2、傳統的夜間拋灑物檢測方法主要依賴于視頻監控系統和人工巡查。這些方法存在明顯的局限性,如檢測效率低、實時性差、易受環境影響等。隨著圖像處理技術和深度學習算法的發展,基于計算機視覺的道路拋灑物檢測技術逐漸成為研究熱點。然而,夜間低光照條件下,傳統的圖像處理技術和檢測算法往往難以準確識別道路上的拋灑物。
3、近年來,深度學習技術在目標檢測領域取得了顯著成果,尤其是卷積神經網絡(cnn)的應用。然而,深度學習模型通常需要大量的標注數據進行訓練,且模型復雜度高,難以在資源受限的設備上實現實時檢測。同時,夜間光照條件不足,低光照條件下圖像質量不佳也會影響模型的檢測性能,導致檢測精度下降。
技術實現思路
1、針對現有技術中存在的不足,本專利技術提供一種夜間道路拋灑物檢測方法、系統、電子設備及存儲介質,結合知識蒸餾、反射率學習、目標檢測網絡等技術,實現在低光照條件下對道路拋灑物的高精度檢測。
2、本專利技術第一目的在于提供一種夜間道路拋灑物檢測方法,包括步驟:
3、獲取帶標注的夜間道路圖像a;
4、對圖像a進行低
5、對圖像a和圖像b進行對比度受限的自適應直方圖均衡化處理,得到增強后的夜間道路圖像c和增強后的弱光照圖像d;
6、構建基于知識蒸餾的檢測模型,所述檢測模型由學生網絡和教師網絡組成;
7、將圖像c和圖像d輸入到學生網絡,學生網絡對圖像c和圖像d進行反射率習后再進行目標檢測處理,得到包括拋灑物邊界框以及拋灑物類別概率分布的檢測結果a;
8、將圖像c和圖像d輸入到教師網絡,教師網絡對圖像c和圖像d進行目標檢測處理,得到包括拋灑物邊界框以及拋灑物類別概率分布的檢測結果b;
9、基于檢測結果a、b對學生網絡進行訓練,構建由反射率損失、知識蒸餾損失、目標檢測損失加權組成的綜合損失函數,通過綜合損失函數的優化,不斷調整學生網絡的參數,當學生網絡的檢測性能不再提升或者達到預設的迭代次數時,停止訓練,以得到訓練后的學生網絡;
10、基于訓練后的學生網絡用于根據預處理后的圖像對夜間道路上的拋灑物進行檢測,并輸出包含拋灑物邊界框以及拋灑物類別標簽的圖像,其中,拋灑物類別標簽為概率最大的拋灑物類別。
11、作為本專利技術的進一步改進,所述學生網絡包括反射率學習模塊、目標檢測模塊;
12、所述反射率學習模塊,用于分別對圖像c和圖像d進行兩次retinex分解以提取并學習圖像中的反射率信息;
13、所述目標檢測模塊,用于根據圖像c、圖像d、經兩次retinex分解后的圖像,對圖像中的拋灑物進行檢測,并輸出包含拋灑物邊界框以及拋灑物類別概率分布的檢測結果a。
14、作為本專利技術的進一步改進,所述反射率學習模塊包括retinex分解子模塊、反射率增強子模塊;
15、所述retinex分解子模塊,用于分別對圖像c和圖像d進行初次分解;
16、所述反射率增強子模塊,用于對經retinex分解子模塊初次分解得到的圖像進行二次分解。
17、作為本專利技術的進一步改進,所述反射率增強子模塊對經retinex分解子模塊初次分解得到的圖像進行二次分解的步驟包括:
18、所述retinex分解子模塊分別對圖像c和圖像d進行初次分解,得到圖像c初次分解的反射率、光照度,和圖像d初次分解的反射率、光照度;
19、所述反射率增強子模塊將圖像c初次分解的反射率和圖像d初次分解的反射率進行交換,在反射率交換后合成圖像c’和圖像d’;
20、分別對圖像c’和圖像d’進行二次分解,得到圖像c’二次分解的反射率、光照度,和圖像d’二次分解的反射率、光照度;
21、對初次分解得到的反射率和二次分解得到的反射率之間的差值進行約束,以提升圖像反射率的一致性。
22、作為本專利技術的進一步改進,所述目標檢測模塊采用的模型為輕量化的leyolo網絡。
23、作為本專利技術的進一步改進,所述教師網絡采用的模型為用光照充足條件下的道路圖像預訓練得到的yolov8網絡。
24、作為本專利技術的進一步改進,所述反射率損失的計算公式為:
25、
26、其中,為反射率損失,為圖像c初次分解的反射率,為圖像d初次分解的反射率,為圖像c二次分解的反射率,為圖像d二次分解的反射率;
27、所述知識蒸餾損失的計算公式為:
28、
29、其中,為知識蒸餾損失,α為權重參數,為學生網絡損失,為教師網絡損失;
30、所述目標檢測損失的計算公式為:
31、
32、其中,為目標檢測損失,為分類損失,為回歸損失,λ為調節分類損失和回歸損失之間權重的權重參數;
33、所述綜合損失函數的計算公式為:
34、
35、其中,為綜合損失函數,β1、β2、β3為各項損失的權重參數。
36、本專利技術第二目的在于提供一種夜間道路拋灑物檢測系統,包括:
37、圖像預處理模塊,用于獲取帶標注的夜間道路圖像a;對圖像a進行低光照圖像處理,得到弱光照圖像b;對圖像a和圖像b進行對比度受限的自適應直方圖均衡化處理,得到增強后的夜間道路圖像c和增強后的弱光照圖像d;
38、檢測模型構建模塊,用于構建基于知識蒸餾的檢測模型,所述檢測模型由學生網絡和教師網絡組成;
39、檢測模型訓練模塊,用于將圖像c和圖像d輸入到學生網絡,學生網絡對圖像c和圖像d進行反射率習后再進行目標檢測處理,得到包括拋灑物邊界框以及拋灑物類別概率分布的檢測結果a;將圖像c和圖像d輸入到教師網絡,教師網絡對圖像c和圖像d進行目標檢測處理,得到包括拋灑物邊界框以及拋灑物類別概率分布的檢測結果b;基于檢測結果a、b對學生網絡進行訓練,構建由反射率損失、知識蒸餾損失、目標檢測損失加權組成的綜合損失函數,通過綜合損失函數的優化,不斷調整學生網絡的參數,當學生網絡的檢測性能不再提升或者達到預設的迭代次數時,停止訓練,以得到訓練后的學生網絡;
40、拋灑物檢測模塊,基于訓練后的學生網絡用于根據預處理后的圖像對夜間道路上的拋灑物進行檢測,并輸出包含拋灑物邊界框以及拋灑物類別標簽的圖像,其中,拋灑物類別標簽為概率最大的拋灑物類別。
41、本專利技術第三目的在于提供一種電子設備,包括至少一個處理單元以及至少一個存儲單元,其中,所述存儲單元存儲有計算機程序,當所述程序被所述處理單元執行本文檔來自技高網...
【技術保護點】
1.一種夜間道路拋灑物檢測方法,其特征在于,包括步驟:
2.根據權利要求1所述的一種夜間道路拋灑物檢測方法,其特征在于,所述學生網絡包括反射率學習模塊、目標檢測模塊;
3.根據權利要求2所述的一種夜間道路拋灑物檢測方法,其特征在于,所述反射率學習模塊包括Retinex分解子模塊、反射率增強子模塊;
4.根據權利要求3所述的一種夜間道路拋灑物檢測方法,其特征在于,
5.根據權利要求2-4任一項所述的一種夜間道路拋灑物檢測方法,其特征在于,所述目標檢測模塊采用的模型為輕量化的LeYOLO網絡。
6.根據權利要求1所述的一種夜間道路拋灑物檢測方法,其特征在于,所述教師網絡采用的模型為用光照充足條件下的道路圖像預訓練得到的YOLOv8網絡。
7.根據權利要求2所述的一種夜間道路拋灑物檢測方法,其特征在于,所述反射率損失的計算公式為:
8.一種夜間道路拋灑物檢測系統,用于實現如權利要求1-7任一項所述的檢測方法,其特征在于,包括:
9.一種電子設備,其特征在于,包括至少一個處理單元以及至少一個存
10.一種存儲介質,其特征在于,其存儲有可由電子設備執行的計算機程序,當所述程序在所述電子設備上運行時,使得所述電子設備執行如權利要求1-7任一項所述的檢測方法。
...【技術特征摘要】
1.一種夜間道路拋灑物檢測方法,其特征在于,包括步驟:
2.根據權利要求1所述的一種夜間道路拋灑物檢測方法,其特征在于,所述學生網絡包括反射率學習模塊、目標檢測模塊;
3.根據權利要求2所述的一種夜間道路拋灑物檢測方法,其特征在于,所述反射率學習模塊包括retinex分解子模塊、反射率增強子模塊;
4.根據權利要求3所述的一種夜間道路拋灑物檢測方法,其特征在于,
5.根據權利要求2-4任一項所述的一種夜間道路拋灑物檢測方法,其特征在于,所述目標檢測模塊采用的模型為輕量化的leyolo網絡。
6.根據權利要求1所述的一種夜間道路拋灑物檢測方法,其特征在于,所述教師網絡采用的模型為用光照充...
【專利技術屬性】
技術研發人員:劉峰,陳囡,黃文清,劉嘉,盧家莉,霍仕峰,
申請(專利權)人:廣東誠泰交通科技發展有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。