【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及一種基于遷移學(xué)習(xí)微調(diào)的ddetr小樣本目標(biāo)檢測(cè)方法，屬于計(jì)算機(jī)視覺(jué)。
技術(shù)介紹
1、目標(biāo)檢測(cè)是眾多視覺(jué)任務(wù)，例如實(shí)例分割、目標(biāo)跟蹤、圖像描述、行為識(shí)別等的基礎(chǔ)，在視頻監(jiān)控、自動(dòng)駕駛和機(jī)器人視覺(jué)導(dǎo)航等現(xiàn)實(shí)場(chǎng)景中也已經(jīng)被應(yīng)用。作為計(jì)算機(jī)視覺(jué)中最基礎(chǔ)、也最具有挑戰(zhàn)性的工作之一，目標(biāo)檢測(cè)近年來(lái)受到了廣泛的關(guān)注，并取得了許多實(shí)質(zhì)性進(jìn)展。歸功于大數(shù)據(jù)和計(jì)算機(jī)硬件的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法占據(jù)了主導(dǎo)地位。例如，2015年提出的fast?r-cnn使用深度卷積網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域進(jìn)行檢測(cè)(rossgirshick.fast?r-cnn.cvpr?2015),2020年提出的基于transformer的端到端目標(biāo)檢測(cè)網(wǎng)絡(luò)detection?transformer(detr，carion?n,massa?f,synnaeve?g,et?al.end-to-endobject?detection?with?transformers.european?conference?on?computer?vision，2020:213-229)，以及隨后提出的deformable?detr網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)為ddetr(zhu?x,su?w,lu?l,et?al.deformabledetr:deformable?transformers?for?end-to-end?objectdetection.arxiv?preprint?arxiv:2010.04159,2020)，通過(guò)可變形注意力解決標(biāo)準(zhǔn)transformer中的注意力問(wèn)題，加快了模型的
2、一般來(lái)說(shuō)，深度神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，才能使得模型能夠比較完整地掌握數(shù)據(jù)的分布，從而收斂到滿意的結(jié)果。因此，在基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)的任務(wù)中，往往需要充足的、帶有結(jié)構(gòu)化標(biāo)簽的樣本來(lái)有監(jiān)督地訓(xùn)練檢測(cè)器，其中結(jié)構(gòu)化標(biāo)簽包括圖像中目標(biāo)的位置以及目標(biāo)的類(lèi)別。但是，在實(shí)際應(yīng)用場(chǎng)景中，獲取標(biāo)簽化樣本需要大量的人力進(jìn)行標(biāo)注，耗時(shí)且花費(fèi)巨大。雖然也存在自監(jiān)督目標(biāo)檢測(cè)算法，這些算法只需要足夠的樣本而不需要這些樣本帶有結(jié)構(gòu)化標(biāo)簽，但是在當(dāng)前階段，完全自監(jiān)督的目標(biāo)檢測(cè)算法還無(wú)法與有監(jiān)督目標(biāo)檢測(cè)算法相媲美。此外，拋開(kāi)所需的標(biāo)注資源不談，在部分場(chǎng)景中僅僅是獲得充足的圖像也是困難的，例如瀕危物種或者醫(yī)學(xué)影像等應(yīng)用場(chǎng)景。樣本少、標(biāo)注難等特點(diǎn)在很大程度上限制了目標(biāo)檢測(cè)器的性能提升，而不同場(chǎng)景的差異也導(dǎo)致了目標(biāo)檢測(cè)器遷移困難，這意味著當(dāng)在新的應(yīng)用場(chǎng)景中執(zhí)行目標(biāo)檢測(cè)任務(wù)時(shí)，要重新獲得大量的標(biāo)注數(shù)據(jù)，進(jìn)而用新數(shù)據(jù)訓(xùn)練新模型，這無(wú)疑增加了成本。
3、然而，即使是人類(lèi)的幼童，也能夠通過(guò)少量樣本快速分辨出新的事物。與此類(lèi)似，小樣本目標(biāo)檢測(cè)任務(wù)試圖僅使用極少量的標(biāo)簽樣本，就能夠檢測(cè)出新類(lèi)，因此，小樣本目標(biāo)檢測(cè)能夠緩解傳統(tǒng)目標(biāo)檢測(cè)器對(duì)大量標(biāo)簽數(shù)據(jù)的依賴(lài)，有著重要的應(yīng)用價(jià)值，近年來(lái)受到了廣大研究者的廣泛關(guān)注。
4、但是，僅使用極少量標(biāo)簽樣本訓(xùn)練高性能目標(biāo)檢測(cè)器存在著諸多挑戰(zhàn)。首先，作為多任務(wù)學(xué)習(xí)模型，目標(biāo)檢測(cè)需要同時(shí)回歸目標(biāo)的位置和預(yù)測(cè)目標(biāo)的類(lèi)別，任務(wù)本身難度高。其次，在樣本數(shù)極少的情況下，模型容易出現(xiàn)過(guò)擬合嚴(yán)重、泛化性能差、方差大、難以充分掌握數(shù)據(jù)分布等問(wèn)題，導(dǎo)致模型性能下降。除此之外，現(xiàn)有的小樣本目標(biāo)檢測(cè)算法常采用雙階段訓(xùn)練策略，兩個(gè)訓(xùn)練階段涉及到不同的網(wǎng)絡(luò)結(jié)構(gòu)，包含不同的評(píng)估方式，現(xiàn)有的網(wǎng)絡(luò)模型訓(xùn)練框架不能同時(shí)滿足以上的特殊訓(xùn)練需求。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)的目的是提供一種基于遷移學(xué)習(xí)微調(diào)的ddetr(deformable?detr)小樣本目標(biāo)檢測(cè)方法，下文稱(chēng)為fs_ddetr(few-shot?ddetr)。該方法以ddetr目標(biāo)檢測(cè)網(wǎng)絡(luò)框架為基礎(chǔ)，設(shè)計(jì)針對(duì)小樣本目標(biāo)檢測(cè)的網(wǎng)絡(luò)框架，在原ddetr網(wǎng)絡(luò)的基礎(chǔ)上添加類(lèi)別過(guò)濾模塊(class?fi?lter)、類(lèi)別重映射模塊(class?reid)、分類(lèi)結(jié)果映射模塊(classresreid)，以及分類(lèi)頭部可調(diào)節(jié)的ddetr網(wǎng)絡(luò)模塊，將不同階段、不同評(píng)估指標(biāo)下模型的訓(xùn)練和推理整合進(jìn)該框架。進(jìn)一步在該框架下設(shè)計(jì)了一種基于ddetr網(wǎng)絡(luò)的遷移學(xué)習(xí)微調(diào)策略，使得fs_ddetr在小樣本目標(biāo)檢測(cè)任務(wù)中達(dá)到了相當(dāng)有競(jìng)爭(zhēng)力的性能。
2、為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)采用的技術(shù)方案流程如下：
3、一種基于遷移學(xué)習(xí)微調(diào)的ddetr小樣本目標(biāo)檢測(cè)方法，其特征在于：
4、以ddetr目標(biāo)檢測(cè)網(wǎng)絡(luò)為基本網(wǎng)絡(luò)框架、實(shí)現(xiàn)基于遷移學(xué)習(xí)微調(diào)的小樣本目標(biāo)檢測(cè)，訓(xùn)練過(guò)程分為兩個(gè)階段：基礎(chǔ)訓(xùn)練階段和微調(diào)階段；在基礎(chǔ)訓(xùn)練階段使用基類(lèi)數(shù)據(jù)進(jìn)行訓(xùn)練；在微調(diào)訓(xùn)練階段根據(jù)評(píng)估指標(biāo)的不同，選擇使用不同的m-way-k-shot小樣本數(shù)據(jù)集：當(dāng)使用fsod作為評(píng)估指標(biāo)時(shí)，只使用新類(lèi)構(gòu)成的小樣本數(shù)據(jù)集進(jìn)行訓(xùn)練；當(dāng)使用g-fsod作為評(píng)估指標(biāo)時(shí)，使用包含基類(lèi)和新類(lèi)的小樣本數(shù)據(jù)集進(jìn)行訓(xùn)練。
5、如上所述的方法，其特征在于所述以ddetr目標(biāo)檢測(cè)網(wǎng)絡(luò)為基本網(wǎng)絡(luò)框架、實(shí)現(xiàn)基于遷移學(xué)習(xí)微調(diào)的小樣本目標(biāo)檢測(cè)，包括如下步驟：
6、(1)過(guò)濾目標(biāo)類(lèi)別：對(duì)于輸入數(shù)據(jù)，使用類(lèi)別過(guò)濾模塊(classfilter)過(guò)濾掉當(dāng)前設(shè)定下不屬于目標(biāo)類(lèi)別的標(biāo)注，即在基礎(chǔ)訓(xùn)練階段，模型只需要使用基類(lèi)的標(biāo)注，而不需另外的屬于新類(lèi)的標(biāo)注，因此將新類(lèi)的標(biāo)注過(guò)濾掉；在微調(diào)階段，根據(jù)評(píng)估指標(biāo)來(lái)確定是否過(guò)濾掉屬于基類(lèi)的標(biāo)注，防止模型在訓(xùn)練的過(guò)程中“看到”不符合當(dāng)前設(shè)定的標(biāo)簽；
7、(2)類(lèi)別重映射：對(duì)于過(guò)濾類(lèi)別后的數(shù)據(jù)集，使用類(lèi)別重映射模塊(class?reid)將不連續(xù)的類(lèi)別標(biāo)簽映射為連續(xù)的類(lèi)別標(biāo)簽，供模型訓(xùn)練和評(píng)估，并保存映射關(guān)系表供后續(xù)模塊使用；
8、(3)分類(lèi)頭部可調(diào)節(jié)的ddetr檢測(cè)網(wǎng)絡(luò)：訓(xùn)練時(shí)根據(jù)不同階段、不同評(píng)估指標(biāo)，采用不同分類(lèi)頭部的ddetr檢測(cè)網(wǎng)絡(luò)；提出的分類(lèi)頭部可調(diào)節(jié)的ddetr檢測(cè)網(wǎng)絡(luò)共包含三種分類(lèi)頭部：base、novel?fsod和novel?g-fsod。基礎(chǔ)訓(xùn)練階段使用base分類(lèi)頭部，該頭部需要對(duì)基類(lèi)所有類(lèi)別完成分類(lèi)；微調(diào)階段根據(jù)不同的評(píng)估指標(biāo)，有novel?fsod和novel?g-fsod兩種可選的分類(lèi)頭部：若使用fsod作為評(píng)估指標(biāo)，則使用novel?fsod分類(lèi)頭部，只需要對(duì)新類(lèi)所有類(lèi)別完成分類(lèi)；若使用g-fsod作為評(píng)估指標(biāo)，則使用novel?g-fsod分類(lèi)頭部，此時(shí)需要對(duì)基類(lèi)和新類(lèi)所有類(lèi)別完成分類(lèi)；
9、(4)基于ddetr網(wǎng)絡(luò)的遷移學(xué)習(xí)微調(diào)策略：基礎(chǔ)訓(xùn)練階段的訓(xùn)練步驟與傳統(tǒng)ddetr檢測(cè)網(wǎng)絡(luò)模型的訓(xùn)練步驟相同，微調(diào)階段使用基于ddetr網(wǎng)絡(luò)的遷移學(xué)習(xí)微調(diào)策略；模型推理時(shí)則直接輸出檢測(cè)結(jié)果供下一步使用；
10、(5)映射分類(lèi)結(jié)果：模型推理時(shí)，分類(lèi)結(jié)果映射模塊(classresreid)將模型輸出的推理結(jié)果重新映射回原標(biāo)簽，實(shí)現(xiàn)對(duì)ms?coco官方評(píng)估api的支持。
11、如上所述的方法本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于遷移學(xué)習(xí)微調(diào)的DDETR小樣本目標(biāo)檢測(cè)方法，其特征在于：
2.如權(quán)利要求1所述的以DDETR目標(biāo)檢測(cè)網(wǎng)絡(luò)為基本網(wǎng)絡(luò)框架實(shí)現(xiàn)基于遷移學(xué)習(xí)微調(diào)的小樣本目標(biāo)檢測(cè)，其特征在于包括如下步驟：
3.如權(quán)利要求2所述的一種基于遷移學(xué)習(xí)微調(diào)的DDETR小樣本目標(biāo)檢測(cè)方法，其特征在于步驟(2.4)中DDETR檢測(cè)網(wǎng)絡(luò)模型的訓(xùn)練步驟如下：
4.如權(quán)利要求2所述的一種基于遷移學(xué)習(xí)微調(diào)的DDETR小樣本目標(biāo)檢測(cè)方法，其特征在于步驟(2.4)中基于DDETR網(wǎng)絡(luò)的遷移學(xué)習(xí)微調(diào)策略包括：
【技術(shù)特征摘要】
1.一種基于遷移學(xué)習(xí)微調(diào)的ddetr小樣本目標(biāo)檢測(cè)方法，其特征在于：
2.如權(quán)利要求1所述的以ddetr目標(biāo)檢測(cè)網(wǎng)絡(luò)為基本網(wǎng)絡(luò)框架實(shí)現(xiàn)基于遷移學(xué)習(xí)微調(diào)的小樣本目標(biāo)檢測(cè)，其特征在于包括如下步驟：
3.如權(quán)利要求2所述的一種基于遷移學(xué)習(xí)...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭錦，張莉彬，李航，
申請(qǐng)(專(zhuān)利權(quán))人：北京航空航天大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。