【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于熱圖梯度約束的人體姿態(tài)估計(jì)方法
[0001]本專利技術(shù)涉及計(jì)算機(jī)視覺
，具體而言是一種引入熱圖梯度約束的人體姿態(tài)估計(jì)方法。
技術(shù)介紹
[0002]人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要課題，在智能安防、自動(dòng)駕駛、智能家居金和動(dòng)畫建模等領(lǐng)域有著廣泛的應(yīng)用。該課題旨在預(yù)測(cè)一張圖片中所有人體的關(guān)鍵點(diǎn)的坐標(biāo)，例如手腕、脖子等。
[0003]根據(jù)訓(xùn)練時(shí)標(biāo)注數(shù)據(jù)的表征形式不同，人體姿態(tài)估計(jì)算法主要分為兩大類：基于坐標(biāo)回歸的方法和基于熱圖回歸的算法。基于坐標(biāo)回歸的方法讓人體姿態(tài)估計(jì)網(wǎng)絡(luò)直接輸出關(guān)鍵點(diǎn)坐標(biāo)，這種方法的優(yōu)點(diǎn)是可以從圖片到關(guān)鍵點(diǎn)坐標(biāo)端到端地反向傳播，缺點(diǎn)是人體姿態(tài)估計(jì)網(wǎng)絡(luò)需要擬合高度非線性的目標(biāo)函數(shù)，并且關(guān)鍵點(diǎn)坐標(biāo)提供的空間信息過(guò)于稀疏，使得人體姿態(tài)估計(jì)網(wǎng)絡(luò)的訓(xùn)練難度大大增加，因此最終的預(yù)測(cè)效果較差。
[0004]基于熱圖回歸的方法首先將標(biāo)注的關(guān)鍵點(diǎn)坐標(biāo)構(gòu)建成高斯分布熱圖，讓人體姿態(tài)估計(jì)網(wǎng)絡(luò)以構(gòu)建的高斯分布目標(biāo)熱圖為預(yù)測(cè)目標(biāo)，并在最終使用時(shí)從預(yù)測(cè)的熱圖中通過(guò)解碼方法得到最終的預(yù)測(cè)坐標(biāo)。這種方法相較于基于坐標(biāo)回歸的方法，降低了目標(biāo)函數(shù)的非線性度，并且高斯分布目標(biāo)熱圖為訓(xùn)練過(guò)程提供了更多的監(jiān)督信息，因此獲得更好的效果，成為了人體姿態(tài)估計(jì)的主流方法。
[0005]雖然基于熱圖回歸的方法的已經(jīng)取得較高的預(yù)測(cè)效果，但是目前基于熱圖回歸的方法采用的均方誤差損失函數(shù)這一訓(xùn)練目標(biāo)，與最終從預(yù)測(cè)熱圖中解碼出的預(yù)測(cè)坐標(biāo)的準(zhǔn)確率這一任務(wù)目標(biāo)，這兩者之間仍然存在不對(duì)齊的問題。具體而言，目前基于熱圖回歸的方...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于熱圖梯度約束的人體姿態(tài)估計(jì)方法，其特征是按如下步驟進(jìn)行：步驟1、對(duì)人體姿態(tài)估計(jì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)預(yù)處理：所述人體姿態(tài)估計(jì)數(shù)據(jù)庫(kù)中任意第A個(gè)樣本是由一張?jiān)紙D片I
A
、一個(gè)人體框bbox
A
和一組人體關(guān)鍵點(diǎn)μ
A
組成；所述樣本A的一組人體關(guān)鍵點(diǎn)坐標(biāo)μ
A
包含K個(gè)坐標(biāo)，記為其中，表示第i個(gè)人體關(guān)鍵點(diǎn)的坐標(biāo)，K表示人體關(guān)鍵點(diǎn)數(shù)；使用樣本A的人體框bbox
A
對(duì)原始圖片I
A
進(jìn)行裁剪，并縮放到指定尺寸后得到輸入圖片I
′
A
，并將原始圖片I
A
上的人體關(guān)鍵點(diǎn)坐標(biāo)μ
A
轉(zhuǎn)換到輸入圖片I
′
A
上的人體關(guān)鍵點(diǎn)坐標(biāo)μ
′
A
；由{I
′
A
,μ
′
A
}構(gòu)成樣本A預(yù)處理后的一組人體姿態(tài)數(shù)據(jù)，從而得到包含N個(gè)樣本的預(yù)處理后的人體姿態(tài)數(shù)據(jù)庫(kù)D
p
；步驟2、基于HRNet網(wǎng)絡(luò)構(gòu)建基于熱圖回歸的人體姿態(tài)估計(jì)網(wǎng)絡(luò)F
p
：所述HRNet網(wǎng)絡(luò)包括：輸入層、B個(gè)特征提取與融合階段和輸出層；其中，所述輸入層包括：卷積層、批標(biāo)準(zhǔn)化層、ReLU激活函數(shù)；B個(gè)特征提取與融合階段由B個(gè)特征提取模塊和B個(gè)融合模塊構(gòu)成，每個(gè)特征提取模塊由卷積層、批標(biāo)準(zhǔn)化層、ReLU激活函數(shù)和殘差連接組成，每個(gè)融合模塊由卷積層、批標(biāo)準(zhǔn)化層和ReLU激活函數(shù)組成；所述輸出層包括：反卷積層、卷積層、批標(biāo)準(zhǔn)化層和ReLU激活函數(shù)；使用高斯分布對(duì)所述HRNet網(wǎng)絡(luò)中所有卷積層、反卷積層和批標(biāo)準(zhǔn)化層進(jìn)行權(quán)值初始化；步驟3、使用引入熱圖梯度約束的損失函數(shù)訓(xùn)練人體姿態(tài)估計(jì)網(wǎng)絡(luò)F
p
：步驟3.1、根據(jù)所述人體姿態(tài)數(shù)據(jù)庫(kù)D
p
中樣本A的人體姿態(tài)數(shù)據(jù){I
′
A
,μ
′
A
}中的人體關(guān)鍵點(diǎn)坐標(biāo)μ
′
A
生成樣本A的目標(biāo)熱圖和目標(biāo)熱圖梯度圖其中，表示樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖，表示樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱梯度圖；步驟3.1.1、利用式(1)生成樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖上坐標(biāo)為(x,y)的像素值從而得到樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖最終得到樣本A的K個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖人體關(guān)鍵點(diǎn)的目標(biāo)熱圖式(1)中，和表示預(yù)處理后的第i個(gè)人體關(guān)鍵點(diǎn)坐標(biāo)μ
i
′
A
的x軸值和y軸值，σ一個(gè)是固定的超參數(shù)，X和Y分別表示目標(biāo)熱圖的尺寸；步驟3.1.2、利用式(2)生成樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖梯度上坐標(biāo)為(x,y)的像素值從而得到樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖梯度圖最終得到樣本A的K個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖梯度圖樣本A的K個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖梯度圖式(2)中，和表示第i個(gè)關(guān)鍵點(diǎn)在x軸和y軸方向的目標(biāo)熱圖梯度圖在坐
標(biāo)(x,y)的像素值；表示樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖上坐標(biāo)為(x+1,y)的像素值，表示樣本A的第i個(gè)人體關(guān)鍵點(diǎn)的目標(biāo)熱圖上坐標(biāo)為(x,y+1)的像素值；步驟3.2、將所述人體姿態(tài)數(shù)據(jù)庫(kù)D
p
中樣本A的人體姿態(tài)數(shù)據(jù){I
′
A
,μ
′
A
}中的I
′
A
輸入到人體姿態(tài)估計(jì)網(wǎng)絡(luò)F
p
中，得到樣本A的預(yù)測(cè)熱圖中，得...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王上飛，方林，
申請(qǐng)(專利權(quán))人：合肥綜合性國(guó)家科學(xué)中心人工智能研究院安徽省人工智能實(shí)驗(yàn)室，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。