【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及計(jì)算機(jī)，特別是涉及一種目標(biāo)檢測(cè)模型的訓(xùn)練方法、裝置及電子設(shè)備。
技術(shù)介紹
1、在目標(biāo)檢測(cè)模型的應(yīng)用場(chǎng)景中，常常需要針對(duì)多種設(shè)備采集的多類型數(shù)據(jù)進(jìn)行檢測(cè)，例如在自動(dòng)駕駛的場(chǎng)景中，會(huì)使用不同的傳感器采集的數(shù)據(jù)，如使用激光雷達(dá)采集點(diǎn)云數(shù)據(jù)、使用圖像傳感器采集圖像等，基于各傳感器采集的多種類型的數(shù)據(jù)檢測(cè)目標(biāo)。
2、但在相關(guān)技術(shù)中，目標(biāo)檢測(cè)模型大多遵循單數(shù)據(jù)集訓(xùn)練——單數(shù)據(jù)集測(cè)試范式設(shè)計(jì)，單一數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測(cè)模型如果直接部署到另一類型的數(shù)據(jù)中進(jìn)行檢測(cè)，其檢測(cè)精度會(huì)發(fā)生嚴(yán)重退化。而采用多傳感器多數(shù)據(jù)集訓(xùn)練——單數(shù)據(jù)集測(cè)試的范式，則需要根據(jù)每一類型的數(shù)據(jù)集都進(jìn)行針對(duì)性訓(xùn)練，會(huì)造成大量標(biāo)注資源和人力資源浪費(fèi)，難以真正實(shí)現(xiàn)。所以，如何提高目標(biāo)檢測(cè)模型在不同數(shù)據(jù)集的泛化能力，一直是亟待解決的問題之一。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例的目的在于提供一種目標(biāo)檢測(cè)模型的訓(xùn)練方法、裝置及電子設(shè)備，以實(shí)現(xiàn)提高目標(biāo)檢測(cè)模型在不同數(shù)據(jù)集的泛化能力。具體技術(shù)方案如下：
2、第一方面，本申請(qǐng)實(shí)施例提供了一種目標(biāo)檢測(cè)模型的訓(xùn)練方法，包括：
3、獲取多個(gè)樣本數(shù)據(jù)集，其中，每一所述樣本數(shù)據(jù)集具有各自的感興趣區(qū)域，且包括各自的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)；
4、將各所述樣本數(shù)據(jù)集輸入至待訓(xùn)練的目標(biāo)檢測(cè)模型中，利用所述目標(biāo)檢測(cè)模型中的三維骨干網(wǎng)絡(luò)提取所述點(diǎn)云數(shù)據(jù)的點(diǎn)云特征，利用所述目標(biāo)檢測(cè)模型中的圖像骨干網(wǎng)絡(luò)提取所述圖像數(shù)據(jù)的圖像特征；
5、針對(duì)每一所述樣本數(shù)據(jù)集，
6、對(duì)各所述待檢測(cè)特征進(jìn)行目標(biāo)檢測(cè)，得到各所述樣本數(shù)據(jù)集各自的目標(biāo)檢測(cè)結(jié)果；
7、根據(jù)各所述樣本數(shù)據(jù)集各自的感興趣區(qū)域，對(duì)比各所述目標(biāo)檢測(cè)結(jié)果與各所述樣本數(shù)據(jù)集的真值，確定所述目標(biāo)檢測(cè)模型的模型損失；
8、基于所述模型損失對(duì)所述目標(biāo)檢測(cè)模型進(jìn)行調(diào)整。
9、本申請(qǐng)的一個(gè)實(shí)施例中，在所述將各所述樣本數(shù)據(jù)集輸入至待訓(xùn)練的目標(biāo)檢測(cè)模型中之前，所述方法還包括：
10、基于各所述樣本數(shù)據(jù)集的檢測(cè)范圍及地面高度，對(duì)各所述點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云輸入對(duì)齊，得到所述檢測(cè)范圍及所述地面高度統(tǒng)一的各所述點(diǎn)云數(shù)據(jù)；
11、對(duì)各所述樣本數(shù)據(jù)集中的圖像數(shù)據(jù)進(jìn)行去畸變處理，并對(duì)各所述圖像數(shù)據(jù)進(jìn)行圖像輸入對(duì)齊，得到特征空間統(tǒng)一的各所述圖像數(shù)據(jù)。
12、本申請(qǐng)的一個(gè)實(shí)施例中，所述針對(duì)每一所述樣本數(shù)據(jù)集，對(duì)所述點(diǎn)云特征和所述圖像特征進(jìn)行特征融合，得到所述樣本數(shù)據(jù)集的待檢測(cè)特征，包括：
13、針對(duì)每一所述樣本數(shù)據(jù)集，估計(jì)所述圖像特征的深度信息，并基于所述深度信息將所述圖像特征轉(zhuǎn)換至鳥瞰圖空間中，得到三維圖像特征；
14、利用所述目標(biāo)檢測(cè)模型中的特征融合網(wǎng)絡(luò)對(duì)所述點(diǎn)云特征及所述三維圖像特征進(jìn)行融合，得到所述待檢測(cè)特征。
15、本申請(qǐng)的一個(gè)實(shí)施例中，所述對(duì)比各所述目標(biāo)檢測(cè)結(jié)果與所述各所述樣本數(shù)據(jù)集的真值，確定所述目標(biāo)檢測(cè)模型的模型損失，包括：
16、針對(duì)每一所述樣本數(shù)據(jù)集，獲取所述樣本數(shù)據(jù)集的感興趣區(qū)域，并根據(jù)所述感興趣區(qū)域確定所述樣本數(shù)據(jù)集的感興趣掩膜；
17、在所述目標(biāo)檢測(cè)結(jié)果中確定所述感興趣掩膜內(nèi)的檢測(cè)目標(biāo)，對(duì)比所述檢測(cè)目標(biāo)與所述樣本數(shù)據(jù)集的真值，得到所述目標(biāo)檢測(cè)模型的中心點(diǎn)損失和尺寸損失；
18、對(duì)比所述感興趣掩膜內(nèi)各所述檢測(cè)目標(biāo)的分類結(jié)果，以及所述真值中各檢測(cè)目標(biāo)的分類結(jié)果，得到所述目標(biāo)檢測(cè)模型的分類損失；
19、基于所述中心點(diǎn)損失、所述尺寸損失及所述分類損失確定所述模型損失。
20、本申請(qǐng)的一個(gè)實(shí)施例中，所述目標(biāo)檢測(cè)模型包括檢測(cè)網(wǎng)絡(luò)，所述檢測(cè)網(wǎng)絡(luò)包括分類檢測(cè)難度不同的多個(gè)層級(jí)的檢測(cè)模塊，所述對(duì)各所述待檢測(cè)特征進(jìn)行目標(biāo)檢測(cè)，得到各所述樣本數(shù)據(jù)集各自的目標(biāo)檢測(cè)結(jié)果，包括：
21、針對(duì)每一層級(jí)的所述檢測(cè)模塊，利用該檢測(cè)模塊對(duì)所述待檢測(cè)特征進(jìn)行目標(biāo)檢測(cè)，得到各層級(jí)的所述檢測(cè)模塊對(duì)應(yīng)的目標(biāo)檢測(cè)結(jié)果。
22、本申請(qǐng)的一個(gè)實(shí)施例中，所述根據(jù)所述感興趣掩膜、所述目標(biāo)檢測(cè)結(jié)果及所述樣本數(shù)據(jù)集的真值，計(jì)算所述目標(biāo)檢測(cè)模型的分類損失，包括：
23、獲取各層級(jí)檢測(cè)模塊對(duì)應(yīng)的目標(biāo)檢測(cè)結(jié)果的目標(biāo)熱力圖，以及所述樣本數(shù)據(jù)集的真值對(duì)應(yīng)的真值熱力圖，其中，所述目標(biāo)熱力圖及所述真值熱力圖中的熱力點(diǎn)為檢測(cè)目標(biāo)；
24、將所述感興趣掩膜映射到第一層級(jí)的所述目標(biāo)熱力圖，利用分類損失函數(shù)對(duì)比該所述目標(biāo)熱力圖與所述真值熱力圖，得到第一分類損失，并基于該所述目標(biāo)熱力圖中的熱力點(diǎn)確定第一熱力點(diǎn)掩膜，其中，所述第一層級(jí)表示各層級(jí)檢測(cè)模塊中分類檢測(cè)難度最低的層級(jí)；
25、將所述感興趣掩膜及所述第一熱力點(diǎn)掩膜映射到第二層級(jí)的所述目標(biāo)熱力圖，利用所述分類損失函數(shù)對(duì)比所述目標(biāo)熱力圖與所述真值熱力圖，得到第二分類損失，并基于該所述目標(biāo)熱力圖中的熱力點(diǎn)確定第二熱力點(diǎn)掩膜，直至得到各層級(jí)的所述目標(biāo)熱力圖的分類損失；
26、基于各層級(jí)的所述目標(biāo)熱力圖的分類損失確定所述目標(biāo)檢測(cè)模型的分類損失。
27、本申請(qǐng)的一個(gè)實(shí)施例中，按照以下公式計(jì)算所述目標(biāo)檢測(cè)模型的模型損失：
28、；
29、；
30、；
31、；
32、其中，loss表示所述模型損失，lctr_mask表示所述中心點(diǎn)損失，lsize_mask表示所述尺寸損失，lcls_mask表示所述分類損失，mask表示所述感興趣掩膜，yt表示所述真值，ys表示所述目標(biāo)檢測(cè)結(jié)果，n表示所述感興趣掩膜內(nèi)的檢測(cè)目標(biāo)，i表示第i個(gè)檢測(cè)目標(biāo)。
33、第二方面，本申請(qǐng)實(shí)施例提供了一種目標(biāo)檢測(cè)模型的訓(xùn)練裝置，包括：
34、數(shù)據(jù)獲取模塊，用于獲取多個(gè)樣本數(shù)據(jù)集，其中，每一所述樣本數(shù)據(jù)集中包括各自的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)；
35、特征提取模塊，用于將各所述樣本數(shù)據(jù)集輸入至待訓(xùn)練的目標(biāo)檢測(cè)模型中，針對(duì)每一所述樣本數(shù)據(jù)集，利用所述目標(biāo)檢測(cè)模型中的三維骨干網(wǎng)絡(luò)提取所述點(diǎn)云數(shù)據(jù)的點(diǎn)云特征，利用所述目標(biāo)檢測(cè)模型中的圖像骨干網(wǎng)絡(luò)提取所述圖像數(shù)據(jù)的圖像特征；
36、特征融合模塊，用于針對(duì)每一所述樣本數(shù)據(jù)集，對(duì)所述點(diǎn)云特征和所述圖像特征進(jìn)行特征融合，得到所述樣本數(shù)據(jù)集的待檢測(cè)特征；
37、目標(biāo)檢測(cè)模塊，用于對(duì)各所述待檢測(cè)特征進(jìn)行目標(biāo)檢測(cè)，得到各所述樣本數(shù)據(jù)集各自的目標(biāo)檢測(cè)結(jié)果；
38、模型損失確定模塊，用于對(duì)比各所述目標(biāo)檢測(cè)結(jié)果與各所述樣本數(shù)據(jù)集的的真值，確定所述目標(biāo)檢測(cè)模型的模型損失；
39、模型調(diào)整模塊，用于基于所述模型損失對(duì)所述目標(biāo)檢測(cè)模型進(jìn)行調(diào)整。
40、本申請(qǐng)的一個(gè)實(shí)施例中，還包括：
41、點(diǎn)云數(shù)據(jù)輸入對(duì)齊模塊，用于基于各所述樣本數(shù)據(jù)集的檢測(cè)范圍及地面高度，對(duì)各所述點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云輸入對(duì)齊，得到所述檢測(cè)范圍及所述地面高度本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種目標(biāo)檢測(cè)模型的訓(xùn)練方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將各所述樣本數(shù)據(jù)集輸入至待訓(xùn)練的目標(biāo)檢測(cè)模型中之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)每一所述樣本數(shù)據(jù)集，對(duì)所述點(diǎn)云特征和所述圖像特征進(jìn)行特征融合，得到所述樣本數(shù)據(jù)集的待檢測(cè)特征，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各所述樣本數(shù)據(jù)集各自的感興趣區(qū)域，對(duì)比各所述目標(biāo)檢測(cè)結(jié)果與所述各所述樣本數(shù)據(jù)集的真值，確定所述目標(biāo)檢測(cè)模型的模型損失，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)檢測(cè)模型包括檢測(cè)網(wǎng)絡(luò)，所述檢測(cè)網(wǎng)絡(luò)包括分類檢測(cè)難度不同的多個(gè)層級(jí)的檢測(cè)模塊，所述對(duì)各所述待檢測(cè)特征進(jìn)行目標(biāo)檢測(cè)，得到各所述樣本數(shù)據(jù)集各自的目標(biāo)檢測(cè)結(jié)果，包括：
6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述根據(jù)所述感興趣掩膜、所述目標(biāo)檢測(cè)結(jié)果及所述樣本數(shù)據(jù)集的真值，計(jì)算所述目標(biāo)檢測(cè)模型的分類損失，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，按照以下公式計(jì)算所述目
8.一種目標(biāo)檢測(cè)模型的訓(xùn)練裝置，其特征在于，包括：
9.一種電子設(shè)備，其特征在于，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一所述的方法。
...【技術(shù)特征摘要】
1.一種目標(biāo)檢測(cè)模型的訓(xùn)練方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將各所述樣本數(shù)據(jù)集輸入至待訓(xùn)練的目標(biāo)檢測(cè)模型中之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)每一所述樣本數(shù)據(jù)集，對(duì)所述點(diǎn)云特征和所述圖像特征進(jìn)行特征融合，得到所述樣本數(shù)據(jù)集的待檢測(cè)特征，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各所述樣本數(shù)據(jù)集各自的感興趣區(qū)域，對(duì)比各所述目標(biāo)檢測(cè)結(jié)果與所述各所述樣本數(shù)據(jù)集的真值，確定所述目標(biāo)檢測(cè)模型的模型損失，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)檢測(cè)模型包括檢測(cè)網(wǎng)絡(luò)，所述檢測(cè)網(wǎng)絡(luò)包括分類檢測(cè)難度...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭秀枝，張經(jīng)緯，許昀璐，
申請(qǐng)(專利權(quán))人：杭州海康威視數(shù)字技術(shù)股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。