一種基手指識別的手勢識別方法技術

本發明專利技術公開了一種基手指識別的手勢識別方法，屬于手勢識別技術領域；方法包括：通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到骨骼點信息；根據骨骼點信息，確定手心位置信息與手長信息；根據手心位置信息判斷使用者的手心距離地面的高度是否大于一預設的高度閾值，并在是時繼續執行步驟；判斷得到手掌區域的圖像，并對手掌區域的圖像進行分割裁剪以及進行預處理，得到相應的手部掩膜并輸出；根據處理結果，識別出手部的指尖區域，并根據指尖區域的幾何關系對使用者的手勢進行識別。上述技術方案的有益效果是：消除背影響，避免一些無效手勢被誤認為使用者進行手勢指令輸入的情況發生，提升了手勢識別的準確性。

Hand gesture recognition method based on finger recognition

The invention discloses a method of gesture recognition based on finger recognition, which belongs to the field of gesture recognition technology; methods include: video data through an image acquisition device for acquiring users associated with systemic flow, and get the skeleton point information; according to the skeleton information, determine the hand position information and hand length information; according to the position information of the palm of the hand to determine the height of the user hand from the ground is greater than a preset threshold level, and continue to step in; judging image palm area, and the image is segmented and the palm area of pretreatment, the corresponding hand mask and output; according to the results, the hand fingertip region recognition and, according to the geometric relations of the user's fingertip area gesture recognition. The beneficial effect of the technical proposal is that the back influence is eliminated, and some invalid gestures are avoided to be mistaken for the gesture input by the user, and the accuracy of gesture identification is improved.

【技術實現步驟摘要】
一種基手指識別的手勢識別方法
本專利技術涉及手勢識別
，尤其涉及一種手勢識別方法。
技術介紹
目前國內外的手勢識別方法大致分為2類，基于穿戴類設備和基于傳統視覺。基于穿戴設備的手勢識別是從數據手套、位置跟蹤器等傳感器獲得手指運動特征數據，傳入計算機同時使用神經網絡進行關節數據的分析從而獲得手勢以達到人機交互。主要優點是可以測定手指的姿勢和手勢，但是相對而言較為昂貴，不利于大量推廣應用。基于傳統視覺識別的方法利用普通攝像頭采集手勢視頻或者圖像信息，再進行識別處理。該方式雖然給使用者帶來了很好的人機交互性，但為了提高系統的魯棒性和有效地進行手部位置、手形、手指方向等而為特征的提取，識別人需要戴有顏色的手套，穿有特定要求的服裝，并且識別人的背景需要統一的顏色，因此基于傳統視覺識別的方法容易受到背景、燈光、攝像頭的位置等環境因素的影響。
技術實現思路
根據現有技術中存在的上述問題，現提供一種基于景深圖像的手指手勢識別方法的技術方案，具體包括：一種手勢識別方法，其中，包括如下步驟：步驟S1，通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到關聯于所述使用者的各個骨骼點的骨骼點信息；步驟S2，根據所述骨骼點信息，確定表示所述使用者的手心位置的手心位置信息與表示所述使用者的手長的手長信息；步驟S3，根據所述手心位置信息判斷所述使用者的手心距離地面的高度是否大于一預設的高度閾值：若是，則繼續執行所述步驟S4；若否，則退出；步驟S4，判斷得到手掌區域的圖像，并對所述手掌區域的圖像進行分割裁剪以及進行預處理，得到相應的手部掩膜并輸出；步驟S5，根據所述處理結果，識別出手部的指尖區域，并根據所述指尖區域的幾何關系對所述使用者的手勢進行識別。優選的，該手勢識別方法，其中，所述步驟S1中，所述圖像采集裝置為景深攝像頭；所述視頻數據為關聯于所述使用者的全身的景深視頻數據。優選的，該手勢識別方法，其中，所述步驟S1包括：步驟S11，采用所述圖像采集裝置采集包括背景以及所述使用者的全身的景深圖像的視頻數據流；步驟S12，將所述視頻數據流中包括的每幀的所述景深圖像的像素的三維信息進行空間變換，以得到實際空間中的對應的點云信息；步驟S13，根據每個所述像素對應的所述點云信息，獲得每個所述像素與所述景深攝像頭之間的距離；步驟S14，分別根據每個所述像素對應的所述距離，處理得到所述骨骼點信息。優選的，該手勢識別方法，其中，所述步驟S2包括：步驟S21，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，獲得所述使用者的所述手心位置信息；步驟S22，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，依照下述公式計算得到所述使用者的身高信息：其中，H1表示所述使用者的身高數值，H2表示背景的像素高度數值，H3表示所述使用者在被采集的視頻圖像中的像素高度數值，d表示所述使用者與所述景深攝像頭之間的距離數值，θ表示所述景深攝像頭在水平方向上的垂直角度數值；步驟S23，根據預設的人體身高與人體手長之間的對應關系，獲得所述使用者的所述手長信息。優選的，該手勢識別方法，其中，所述步驟S4包括：步驟S41，根據所述手心位置信息和所述手長信息，去除所述使用者的手部包括的所有與所述手心位置的距離大于所述手長的一半的像素點的信息，并依據去除后的手部包括的所有所述像素點的信息得到手部數據；步驟S42，通過K均值聚類算法對處理得到的所述手部數據進行聚類處理，得到經過聚類處理后的所述手部數據；步驟S43，設置最小聚類數，以對所述手部數據進行噪聲干擾像素簇的過濾排除，從而得到關聯于所述手部數據的手部掩膜并輸出。優選的，該手勢識別方法，其中，所述手部數據包含在以所述使用者的所述手長的一半為半徑、并以所述使用者的所述手心位置為圓心的一個球形區域內。優選的，該手勢識別方法，其中，所述步驟S5包括：步驟S51，采用Moore鄰域輪廓跟蹤算法檢測得到所述手部掩膜的邊緣輪廓，并獲得包括所述邊緣輪廓上的所有輪廓點的第一點鏈集合；步驟S52，采用Graham掃描算法檢測得到所述手部掩膜的手部輪廓上的凸包集，并獲得包括所有凸包的第二點鏈集合；步驟S53，采用輪廓最大凹陷點掃描算法，于所述手部掩膜的所述邊緣輪廓和所述手部輪廓的所述凸包集上檢測得到所有所述凸點之間的最大凹陷點，并獲得包括所述手部輪廓上的凹凸點的第三點鏈集合；步驟S54，采用凹凸夾角識別算法，依據關聯于所述手部輪廓的所述第三點鏈集合處理得到包括手部的所有指尖點的第四點鏈集合；步驟S55，根據所述指尖點識別得到手部的每個手指，隨后執行手勢識別操作。優選的，該手勢識別方法，其中，所述步驟S55中，執行手勢識別操作的步驟具體包括：步驟S551，識別得到手部的所有所述手指的個數；步驟S552，,根據預設信息判斷得到每根所述手指的名稱、方向向量以及相鄰所述手指之間的夾角并輸出；步驟S553，根據所述步驟S552中輸出的信息形成一三層決策樹，并根據所述三層決策樹對手勢進行識別。優選的，該手勢識別方法，其中，所述步驟S42中，所述K均值聚類算法中的K值設定為固定數值2。上述技術方案的有益效果是，提供一種手勢識別方法，能夠消除外界背景的影響，并且避免一些無效手勢被誤認為使用者進行手勢指令輸入的情況發生，提升了手勢識別的準確性。附圖說明圖1是本專利技術的較佳的實施例中，一種手勢識別方法的總體流程示意圖；圖2是本專利技術的較佳的實施例中，采集并處理得到使用者的骨骼點信息的流程示意圖；圖3是本專利技術的較佳的實施例中，處理得到手心位置信息和手長信息的流程示意圖；圖4是本專利技術的較佳的實施例中，處理得到手部掩膜的流程示意圖；圖5是本專利技術的較佳的實施例中，對手勢進行識別的流程示意圖；圖6是本專利技術的較佳的實施例中，輪廓最大凹陷點掃描算法的流程示意圖；圖7是本專利技術的較佳的實施例中，凹凸夾角識別算法的流程示意圖；具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例?；诒緦＠夹g中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。需要說明的是，在不沖突的情況下，本專利技術中的實施例及實施例中的特征可以相互組合。下面結合附圖和具體實施例對本專利技術作進一步說明，但不作為本專利技術的限定。本專利技術的較佳的實施例中，提供一種手勢識別方法，該方法的總體流程如圖1所示，包括下述步驟：步驟S1，通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到關聯于使用者的各個骨骼點的骨骼點信息；具體地，如圖2所示，上述步驟S1包括下述步驟：步驟S11，采用圖像采集裝置采集包括背景以及使用者的全身的景深圖像的視頻數據流；本專利技術的較佳的實施例中，上述圖像采集裝置可以為安裝于支持手勢指令交互的智能終端上的攝像頭，優選地可以為景深攝像頭，即支持在成像物體的前后距離范圍內均能夠清晰成像的功能的攝像頭。則在上述步驟S11中，采用上述景深攝像頭直接拍攝使用者所在畫面的背景以及使用者的全身深度圖像的視頻流，最后形成上述視頻數據流并輸出。步驟S12，將視頻數據流中包括的每幀的景深圖像的像素的三維信息進行空間變換，以得本文檔來自技高網...

【技術保護點】
一種手勢識別方法，其特征在于，包括如下步驟：步驟S1，通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到關聯于所述使用者的各個骨骼點的骨骼點信息；步驟S2，根據所述骨骼點信息，確定表示所述使用者的手心位置的手心位置信息與表示所述使用者的手長的手長信息；步驟S3，根據所述手心位置信息判斷所述使用者的手心距離地面的高度是否大于一預設的高度閾值：若是，則繼續執行所述步驟S4；若否，則退出；步驟S4，判斷得到手掌區域的圖像，并對所述手掌區域的圖像進行分割裁剪以及進行預處理，得到相應的手部掩膜并輸出；步驟S5，根據所述處理結果，識別出手部的指尖區域，并根據所述指尖區域的幾何關系對所述使用者的手勢進行識別。

【技術特征摘要】
1.一種手勢識別方法，其特征在于，包括如下步驟：步驟S1，通過一圖像采集裝置獲取關聯于使用者全身的視頻數據流，并處理得到關聯于所述使用者的各個骨骼點的骨骼點信息；步驟S2，根據所述骨骼點信息，確定表示所述使用者的手心位置的手心位置信息與表示所述使用者的手長的手長信息；步驟S3，根據所述手心位置信息判斷所述使用者的手心距離地面的高度是否大于一預設的高度閾值：若是，則繼續執行所述步驟S4；若否，則退出；步驟S4，判斷得到手掌區域的圖像，并對所述手掌區域的圖像進行分割裁剪以及進行預處理，得到相應的手部掩膜并輸出；步驟S5，根據所述處理結果，識別出手部的指尖區域，并根據所述指尖區域的幾何關系對所述使用者的手勢進行識別。2.如權利要求1所述的手勢識別方法，其特征在于，所述步驟S1中，所述圖像采集裝置為景深攝像頭；所述視頻數據為關聯于所述使用者的全身的景深視頻數據。3.如權利要求2所述的手勢識別方法，其特征在于，所述步驟S1包括：步驟S11，采用所述圖像采集裝置采集包括背景以及所述使用者的全身的景深圖像的視頻數據流；步驟S12，將所述視頻數據流中包括的每幀的所述景深圖像的像素的三維信息進行空間變換，以得到實際空間中的對應的點云信息；步驟S13，根據每個所述像素對應的所述點云信息，獲得每個所述像素與所述景深攝像頭之間的距離；步驟S14，分別根據每個所述像素對應的所述距離，處理得到所述骨骼點信息。4.如權利要求1所述的手勢識別方法，其特征在于，所述步驟S2包括：步驟S21，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，獲得所述使用者的所述手心位置信息；步驟S22，根據處理得到的關聯于所述使用者的各個所述骨骼點的所述骨骼點信息，依照下述公式計算得到所述使用者的身高信息：其中，H1表示所述使用者的身高數值，H2表示背景的像素高度數值，H3表示所述使用者在被采集的視頻圖像中的像素高度數值，d表示所述使用者與所述景深攝像頭之間的距離數值，θ表示所述景深攝像頭在水平方向上的垂直角度數值；步驟S23，根據預設的人體身高與人體手...

【專利技術屬性】
技術研發人員：祝銘明，
申請(專利權)人：芋頭科技杭州有限公司，
類型：發明
國別省市：浙江,33