【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及智能視頻分析，具體涉及一種基于sam的單鏡頭行人重識別方法。
技術(shù)介紹
1、隨著經(jīng)濟(jì)的快速發(fā)展和人口的流動，特別是在大城市，出現(xiàn)較多的人口密集區(qū)域，而這些人口密集區(qū)域正是安全問題頻發(fā)的敏感區(qū)域，因此這些敏感區(qū)域也成為城市建設(shè)中的隱憂。為了杜絕重點敏感區(qū)域中各種盜竊、搶劫和打架等問題的發(fā)生，有關(guān)部門在相關(guān)位置安裝了大量的攝像頭，用于對這些區(qū)域進(jìn)行實時監(jiān)管，但由于距離較遠(yuǎn)或者清晰度等問題，在發(fā)生突發(fā)事件后并不能對嫌疑人進(jìn)行準(zhǔn)確的定位和追蹤，并不能達(dá)到預(yù)期的效果。
2、傳統(tǒng)的行人re-id的方法比較簡單，都是針對多個鏡頭的視頻圖像進(jìn)行導(dǎo)入，對硬件設(shè)備的要求較高，并且識別數(shù)量也較低。
3、因此，如何提供一種基于sam的單鏡頭行人重識別方法，以解決現(xiàn)有技術(shù)所存在的問題，對其應(yīng)用具有重要意義。
技術(shù)實現(xiàn)思路
1、有鑒于此，本申請的目的在于提供一種基于sam的單鏡頭行人重識別方法，以解決傳統(tǒng)的行人re-id的方法比較簡單，都是針對多個鏡頭的視頻圖像進(jìn)行導(dǎo)入，對硬件設(shè)備的要求較高，并且識別數(shù)量也較低問題。
2、為實現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：
3、一種基于sam的單鏡頭行人重識別方法，包括以下步驟：
4、s1:使用人機(jī)交互手段，基于sam模型獲取參考圖片中行人的分割掩碼；
5、s2:利用上述圖片掩碼對sam進(jìn)行尺度自適應(yīng)微調(diào)訓(xùn)練；
6、s3:基于s1中的圖片和掩碼獲取，獲取定位置信圖和感興
7、s4:結(jié)合感興趣錨點的像素坐標(biāo)和微調(diào)后的sam，在其他圖片上獲取目標(biāo)行人的掩碼；
8、s5:基于上述掩碼和目標(biāo)跟蹤結(jié)果進(jìn)行匹配，獲取行人重識別后的id。
9、優(yōu)選的，所述s1的具體步驟如下：首先需準(zhǔn)備含有目標(biāo)行人的輸入圖像，并通過參數(shù)設(shè)置進(jìn)入點prompt模式，隨后，將點prompt信息輸入至sam模型中，模型將根據(jù)輸入點信息對目標(biāo)行人進(jìn)行精確預(yù)測，并輸出對應(yīng)的掩碼。
10、優(yōu)選的，所述sam模型全稱segment?anything?model，所述sam模型能夠通過點prompt模式實現(xiàn)對圖像中目標(biāo)對象的精準(zhǔn)定位與分割。
11、優(yōu)選的，所述s2的具體步驟如下：引入了一種微調(diào)訓(xùn)練方法，得到sam-f，sam-f首先利用位置先驗信息，輸出三種不同尺度的掩碼，分別記為m1、m2和m3，在此基礎(chǔ)上，設(shè)計兩個可學(xué)習(xí)的掩碼權(quán)重，記為w1和w2，并通過加權(quán)求和的方式計算最終的掩碼輸出。
12、優(yōu)選的，所述s2中掩碼計算公式為：
13、m＝w1*m1+w2*m2+(1-w1-w2)*m3；
14、其中，w1和w2都被初始化為1/3。
15、優(yōu)選的，所述s3的具體步驟如下：
16、s3.1:基于用戶給定的參考圖像ir和掩碼mr，在sam中獲得一個定位置信圖，指導(dǎo)測試圖像it中目標(biāo)行人的位置，利用sam圖像編碼器enc來提取ir和it的視覺特征，該過程可表述為：ft＝enc(it)，fr＝enc(ir)
17、其中，ft，
18、s3.2:利用參考掩碼從fr中裁剪視覺概念中的前景像素的特征，得到一組n個局部特征為：
19、其中表示空間向量乘法；
20、s3.3:通過計算和測試圖像特征ft之間的余弦相似度，為每個前景像素i計算n個置信圖，公式如下：
21、其中ft和已經(jīng)被像素級l2歸一化。每個si表示測試圖像中目標(biāo)的不同局部部分的分布概率，如行人的頭部、軀干或腿部；
22、s3.4:在s3.3的基礎(chǔ)上，采用平均池化的手段聚合所有n個局部特征，得到目標(biāo)對象的總體置信圖為：
23、
24、通過結(jié)合每個前景像素的置信度，s可以考慮到不同物體部分的視覺外觀，并獲得一個相對全面的位置估計；
25、s3.4:在s中選擇具有最高和最低置信值的兩個點，分別記為ph和pl，ph表示目標(biāo)對象最可能的中心位置，后pl則表示最可能的背景位置，ph和pl被視為正負(fù)點提示，并作為點提示編碼器的輸入。
26、優(yōu)選的，所述s4的具體步驟如下：將s3獲取的正負(fù)點作為sam-f編碼器的點提示標(biāo)記，通過這種方式，sam-f會傾向于分割正點附近的相鄰區(qū)域，丟棄圖像上負(fù)點的周邊區(qū)域，從而獲取測試圖片中目標(biāo)行人的分割掩碼。
27、優(yōu)選的，所述s5的具體步驟如下：通過計算s4獲取的分割掩碼最小外接矩形和目標(biāo)跟蹤檢測框的交并比，若超過設(shè)定的閾值，則判定為目標(biāo)id；
28、計算公式為：
29、與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果是：
30、本專利技術(shù)基于segment?anything?model(sam)的單鏡頭行人重識別方法，是利用sam模型在圖像分割方面的優(yōu)勢，對行人進(jìn)行像素級別的分割，從而提取行人特征，實現(xiàn)行人的準(zhǔn)確識別和跟蹤。sam模型是一種強(qiáng)大的分割模型，可以通過點prompt模式獲取目標(biāo)對象的掩碼，準(zhǔn)確地分割出圖像中的行人。通過利用sam模型的強(qiáng)大分割能力，可以實現(xiàn)對圖像中行人的精確識別和跟蹤，為相關(guān)領(lǐng)域的研究和應(yīng)用提供了有利支持。
31、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，從而可依照說明書的內(nèi)容予以實施，并且為了讓本申請的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下以本申請的較佳實施例并配合附圖詳細(xì)說明如后。
32、根據(jù)下文結(jié)合附圖對本申請具體實施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將會更加明了本申請的上述及其他目的、優(yōu)點和特征。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種基于SAM的單鏡頭行人重識別方法，其特征在于：包括以下步驟：
2.如權(quán)利要求1所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述S1的具體步驟如下：首先需準(zhǔn)備含有目標(biāo)行人的輸入圖像，并通過參數(shù)設(shè)置進(jìn)入點prompt模式，隨后，將點prompt信息輸入至SAM模型中，模型將根據(jù)輸入點信息對目標(biāo)行人進(jìn)行精確預(yù)測，并輸出對應(yīng)的掩碼。
3.如權(quán)利要求2所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述SAM模型全稱Segment?Anything?Model，所述SAM模型能夠通過點prompt模式實現(xiàn)對圖像中目標(biāo)對象的精準(zhǔn)定位與分割。
4.如權(quán)利要求3所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述S2的具體步驟如下：引入了一種微調(diào)訓(xùn)練方法，得到SAM-F，SAM-F首先利用位置先驗信息，輸出三種不同尺度的掩碼，分別記為M1、M2和M3，在此基礎(chǔ)上，設(shè)計兩個可學(xué)習(xí)的掩碼權(quán)重，記為w1和w2，并通過加權(quán)求和的方式計算最終的掩碼輸出。
5.如權(quán)利要求4所述的一種基于SAM的單鏡頭行人重識別方法，其特征在
6.如權(quán)利要求5所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述S3的具體步驟如下：
7.如權(quán)利要求6所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述S4的具體步驟如下：將S3獲取的正負(fù)點作為SAM-F編碼器的點提示標(biāo)記，通過這種方式，SAM-F會傾向于分割正點附近的相鄰區(qū)域，丟棄圖像上負(fù)點的周邊區(qū)域，從而獲取測試圖片中目標(biāo)行人的分割掩碼。
8.如權(quán)利要求7所述的一種基于SAM的單鏡頭行人重識別方法，其特征在于：所述S5的具體步驟如下：通過計算S4獲取的分割掩碼最小外接矩形和目標(biāo)跟蹤檢測框的交并比，若超過設(shè)定的閾值，則判定為目標(biāo)ID；
...【技術(shù)特征摘要】
1.一種基于sam的單鏡頭行人重識別方法，其特征在于：包括以下步驟：
2.如權(quán)利要求1所述的一種基于sam的單鏡頭行人重識別方法，其特征在于：所述s1的具體步驟如下：首先需準(zhǔn)備含有目標(biāo)行人的輸入圖像，并通過參數(shù)設(shè)置進(jìn)入點prompt模式，隨后，將點prompt信息輸入至sam模型中，模型將根據(jù)輸入點信息對目標(biāo)行人進(jìn)行精確預(yù)測，并輸出對應(yīng)的掩碼。
3.如權(quán)利要求2所述的一種基于sam的單鏡頭行人重識別方法，其特征在于：所述sam模型全稱segment?anything?model，所述sam模型能夠通過點prompt模式實現(xiàn)對圖像中目標(biāo)對象的精準(zhǔn)定位與分割。
4.如權(quán)利要求3所述的一種基于sam的單鏡頭行人重識別方法，其特征在于：所述s2的具體步驟如下：引入了一種微調(diào)訓(xùn)練方法，得到sam-f，sam-f首先利用位置先驗信息，輸出三種不同尺度的掩碼，分別記為m1、m2和m...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：史云，李會賓，楊鵬，余強(qiáng)毅，吳文斌，
申請(專利權(quán))人：中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。