融合互補特征的視覺人體行為識別方法技術

本發明專利技術涉及一種融合互補特征的視覺人體行為識別方法。其中，該方法包括：構建視頻中人體行為的表觀特性的表達和運動特性的表達；確定時空表觀特征和運動特征的時空結構信息；將時空表觀特征和運動特征映射到低維子空間中；利用隨機弱線性分類器對低維特征進行弱分類，完成對節點的分割，產生多棵隨機樹；計算隨機樹上葉節點中各類別訓練樣本的時空結構信息與統計分布的概率值；將測試視頻的時空結構信息與葉節點中的訓練樣本的時空結構信息進行匹配，并以訓練樣本所屬類別的統計分布的概率值作為測試視頻屬于該類的得分，判定視頻中所述人體行為的所屬類別。通過該技術方案，解決了如何對視頻中人體行為進行高效、魯棒的識別的技術問題。

Visual human behavior recognition method based on complementary features

The invention relates to a vision human behavior recognition method with fusion complementary features. Among them, the method includes: expression and movement characteristics of human behavior in view of characteristics of construction video table; space-time table space structure information view feature and motion feature; the apparent temporal features and motion features are mapped into a low dimensional subspace; using random weak linear classifier for low dimensional feature of weak classification the completion of the node, segmentation, multi tree random tree; tree probability calculation of random spatial and temporal structural information and statistical distribution of various categories of training samples in the leaf nodes of the value; will test the space-time structure information and spatial structure of leaf node video in the training samples, and the training sample category the statistical distribution of probability value as a test video which belongs to the category of the score, to determine the human behavior in the video. Through the technical scheme, the problem of how to efficiently and robustly recognize human behavior in video is solved.

【技術實現步驟摘要】
融合互補特征的視覺人體行為識別方法
本專利技術涉及計算機視覺
，特別涉及一種融合互補特征的視覺人體行為識別方法。
技術介紹
視覺人體行為分析是計算機視覺領域的一個重要的、同時又極具挑戰性的研究問題。它的主要目的是對一組包含各種人體行為的圖像序列進行描述與分析，通過相關算法識別出視頻中所包含的人體行為。目前相關的行為分析技術在體育運動分析、互動型游戲、智能監控等多種場合都得到了廣泛應用。視覺人體行為分析任務存在許多難點問題，如行為方式的多樣性、拍攝視角的不固定、行為背景中的移動信息、光照和尺度的變化等因素。通常，不同種類的特征側重于表達視頻中人體行為的不同側面的特性，對這些信息的合理利用與有效融合，將有助于完成對視頻中的人體行為的識別任務。目前的多數方法已經證明了綜合利用多種不同特征來進行人體行為識別的有效性，但當前的多數方法的一個不足是，只關注于綜合利用不同種類的特征，而忽略了不同種類特征之間的互補性與冗余性等特點。而在視覺人體行為分析的任務中，通常要處理的視頻多達上百上千個，當利用許多種冗余性較高的不同種類特征時，一方面并不能保證識別準確率的提高，同時也浪費了大量的計算資源。另一方面，當前的多數融合不同特征的方法都是采用串接形式融合，以串接后的高維特征來作為融合后的新特征，這種方法在視頻數目較多和特征種類較多時會帶來很大的計算負擔而降低運算效率，同時，在串接融合時，不同種類的特征在串接中位于不同的前后位置也會使識別準確率有較大的波動，無法保證識別效果的魯棒性。
技術實現思路
為了解決現有技術中的上述問題，即為了解決如何對視頻中人體行為進行高效、魯棒的識別的技術問題，提供一種融合互補特征的視覺人體行為識別方法。為了實現上述目的，提供了以下技術方案：一種融合互補特征的視覺人體行為識別方法，該方法可以包括：步驟1：提取視頻中基于稀疏時空興趣點的時空表觀特征，并構建視頻中人體行為的表觀特性的表達；其中，視頻包括測試視頻和訓練視頻，訓練視頻包括訓練樣本集；步驟2：提取視頻中基于密集采樣的運動特征，并構建視頻中人體行為的運動特性的表達；步驟3：確定時空表觀特征和運動特征的時空結構信息；步驟4：構建基于隨機森林的分類器，并執行以下步驟：利用基于隨機選擇的特征子空間投影，將時空表觀特征和運動特征映射到隨機選擇的低維子空間中，得到低維特征；利用基于特征相似性的隨機弱線性分類器對低維特征進行弱分類，對節點進行分割，直至產生葉節點；步驟5：重復執行產生葉節點的步驟，產生多棵隨機樹；步驟6：計算每棵隨機樹上葉節點中各類別訓練樣本的時空結構信息與統計分布的概率值；步驟7：將測試視頻的時空結構信息與葉節點中的訓練樣本的時空結構信息進行匹配，并以訓練樣本所屬類別的統計分布的概率值作為測試視頻屬于該類的得分，結合最大多數投票法則判定測試視頻中人體行為的所屬類別。優選地，提取視頻中基于稀疏時空興趣點的時空表觀特征，并構建視頻中人體行為的表觀特性的表達，具體可以包括：針對視頻中的每一幀，在其二維空間上，使用二維高斯濾波器進行濾波，并在視頻中的時間維上使用一維Gabor濾波器進行濾波，得到每個像素點的響應值；將每一幀中響應值最大的像素點確定為感興趣的像素點；以感興趣的像素點為中心，構建三維鄰域；對各三維鄰域進行劃分，得到鄰域塊，并計算每一鄰域塊內像素點的梯度方向的直方圖；將各直方圖相串接并進行歸一化，形成各感興趣像素點的局部區域的描述子；通過k均值算法對所有局部描述子進行聚類，形成表觀特性的團簇，并構建表觀特性的視覺詞典；利用最近鄰原則，將局部區域的描述子分配至表觀特性的團簇中；對視頻中的所有局部區域所屬團簇的頻次進行統計，形成視頻中人體行為的表觀特性的表達。優選地，提取視頻中基于密集采樣的運動特征，并構建視頻中人體行為的運動特性的表達，具體可以包括：針對視頻中的每一幀，進行像素點采樣，并結合密集光流場和中值濾波，對采集的像素點進行跟蹤，得到當前像素點在下一幀中的位置；將各位置進行串聯，形成軌跡集合；檢測每一幀中是否存在不包含跟蹤點且與采樣間隔相關的局部區域，若是，則將局部區域的中心點確定為初始點進行跟蹤并加入軌跡集合；以每一軌跡上的位置為中心，計算中心周圍鄰域中的水平方向與豎直方向的光流差并統計形成直方圖，作為對局部區域的運動特性描述子；對所有局部區域的運動特性描述子進行聚類，構建運動特性的視覺詞典；根據最近鄰原則，將每一局部區域的運動特性描述子劃分到距離最近的聚類團簇中，并統計視頻中所有團簇出現的頻次，構建直方圖向量，作為對視頻中人體行為的運動特性的表達。優選地，確定時空表觀特征和運動特征的時空結構信息，具體可以包括：確定視頻的中心位置；計算各個具有時空表觀特征和運動特征的像素點位置與視頻中心位置之間的偏移量，從而確定時空表觀特征和運動特征的時空結構信息。優選地，視頻包括含有人體行為的中心位置標注的視頻和不含行為中心位置標注的視頻；確定視頻的中心位置具體可以包括：針對含有人體行為的中心位置標注的視頻，計算所有幀中的中心位置的加權平均，從而確定人體行為在視頻的中心位置；針對不含行為中心位置標注的視頻，計算視頻中所有具有時空表觀特征和運動特征的像素點位置的均值，從而確定人體行為在視頻的中心位置。優選地，分割時利用基于隨機選擇的特征子空間投影，將時空表觀特征和運動特征映射到隨機選擇的低維子空間中，得到低維特征，具體可以包括：將時空表觀特征和運動特征進行串接，形成高維特征；利用基于隨機選擇的特征子空間投影，采用隨機采樣的方法，對高維特征進行采樣，形成低維子空間的投影，從而得到低維特征。優選地，利用基于特征相似性的隨機弱線性分類器對低維特征進行弱分類，對節點進行分割，直至產生葉節點，具體可以包括：采用重復多次生成與低維特征維度相同的隨機弱線性二類分類器來對低維特征進行弱分類，并通過衡量分類后的兩個類別的熵的大小來選出最優的弱線性分類器，對各節點進行分割；在分割時，從訓練樣本集中有放回地隨機采樣得到訓練樣本子集，作為根節點；若當前節點中的樣本數大于一定閾值，且當前樹的深度小于最大深度閾值，則對節點進行分割，產生子節點；若當前節點中的樣本數小于節點最小樣本數的閾值，或當前樹的深度達到最大深度閾值，則不再分割，且確定當前節點構成葉節點。優選地，對節點進行分割，產生子節點，具體可以包括：確定系數向量；利用每一系數向量對當前節點中所有樣本特征投影后的低維特征進行劃分，根據系數向量與低維特征點乘之積的值將節點中的所有樣本劃分為第一子集和第二子集；確定隨機數；當隨機數為-1時，將第一子集和第二子集的熵的加權確定為分割質量；當隨機數等于類別數目時，隨機選擇側重于特征本身相似性的局部準則或側重于特征間時空結構相似性的局部準則，來確定分割質量；將分割質量值最大的分割確定為對節點的最優分割，以產生子節點。優選地，計算隨機樹上葉節點中各類別訓練樣本的時空結構信息與統計分布的概率值，具體可以包括：根據下式計算葉節點中各類別訓練樣本的統計分布的概率值：其中，pc表示統計分布的概率值；R表示葉節點；c表示類別，c＝1,...,C，C取正整數；NR，c表示在當前葉節點中屬于第c類的樣本總數；NR表示當前葉節點中的樣本總數；Nc表示訓練樣本集中屬于第c類的樣本數目本文檔來自技高網...

【技術保護點】
一種融合互補特征的視覺人體行為識別方法，其特征在于，所述方法包括：步驟1：提取視頻中基于稀疏時空興趣點的時空表觀特征，并構建所述視頻中所述人體行為的表觀特性的表達；其中，所述視頻包括測試視頻和訓練視頻，所述訓練視頻包括訓練樣本集；步驟2：提取所述視頻中基于密集采樣的運動特征，并構建所述視頻中所述人體行為的運動特性的表達；步驟3：確定所述時空表觀特征和所述運動特征的時空結構信息；步驟4：構建基于隨機森林的分類器，并執行以下步驟：利用基于隨機選擇的特征子空間投影，將所述時空表觀特征和所述運動特征映射到隨機選擇的低維子空間中，得到低維特征；利用基于特征相似性的隨機弱線性分類器對所述低維特征進行弱分類，對節點進行分割，直至產生葉節點；重復執行上述產生葉節點的步驟，產生多棵隨機樹；步驟6：計算所述隨機森林中每棵隨機樹上葉節點中各類別訓練樣本的所述時空結構信息與統計分布的概率值；步驟7：將所述測試視頻的所述時空結構信息與所述葉節點中的訓練樣本的時空結構信息進行匹配，并以所述訓練樣本所屬類別的所述統計分布的概率值作為所述測試視頻屬于該類的得分，結合最大多數投票法則判定所述視頻中所述人體行為的所屬類別。...

【技術特征摘要】
1.一種融合互補特征的視覺人體行為識別方法，其特征在于，所述方法包括：步驟1：提取視頻中基于稀疏時空興趣點的時空表觀特征，并構建所述視頻中所述人體行為的表觀特性的表達；其中，所述視頻包括測試視頻和訓練視頻，所述訓練視頻包括訓練樣本集；步驟2：提取所述視頻中基于密集采樣的運動特征，并構建所述視頻中所述人體行為的運動特性的表達；步驟3：確定所述時空表觀特征和所述運動特征的時空結構信息；步驟4：構建基于隨機森林的分類器，并執行以下步驟：利用基于隨機選擇的特征子空間投影，將所述時空表觀特征和所述運動特征映射到隨機選擇的低維子空間中，得到低維特征；利用基于特征相似性的隨機弱線性分類器對所述低維特征進行弱分類，對節點進行分割，直至產生葉節點；重復執行上述產生葉節點的步驟，產生多棵隨機樹；步驟6：計算所述隨機森林中每棵隨機樹上葉節點中各類別訓練樣本的所述時空結構信息與統計分布的概率值；步驟7：將所述測試視頻的所述時空結構信息與所述葉節點中的訓練樣本的時空結構信息進行匹配，并以所述訓練樣本所屬類別的所述統計分布的概率值作為所述測試視頻屬于該類的得分，結合最大多數投票法則判定所述視頻中所述人體行為的所屬類別。2.根據權利要求1所述的方法，其特征在于，所述提取視頻中基于稀疏時空興趣點的時空表觀特征，并構建所述視頻中所述人體行為的表觀特性的表達，具體包括：針對所述視頻中的每一幀，在其二維空間上，使用二維高斯濾波器進行濾波，并在所述視頻中的時間維上使用一維Gabor濾波器進行濾波，得到每個像素點的響應值；將所述每一幀中響應值最大的像素點確定為感興趣的像素點；以所述感興趣的像素點為中心，構建三維鄰域；對各所述三維鄰域進行劃分，得到鄰域塊，并計算每一所述鄰域塊內像素點的梯度方向的直方圖；將各所述直方圖相串接并進行歸一化，形成各所述感興趣像素點的局部區域的描述子；通過k均值算法對所有所述局部描述子進行聚類，形成表觀特性的團簇，并構建所述表觀特性的視覺詞典；利用最近鄰原則，將所述局部區域的描述子分配至所述表觀特性的團簇中；對所述視頻中的所有局部區域所屬團簇的頻次進行統計，形成所述視頻中人體行為的表觀特性的表達。3.根據權利要求1所述的方法，其特征在于，所述提取所述視頻中基于密集采樣的運動特征，并構建所述視頻中所述人體行為的運動特性的表達，具體包括：針對所述視頻中的每一幀，進行像素點采樣，并結合密集光流場和中值濾波，對采集的像素點進行跟蹤，得到當前像素點在下一幀中的位置；將各所述位置進行串聯，形成軌跡集合；檢測所述每一幀中是否存在不包含跟蹤點且與采樣間隔相關的局部區域，若是，則將所述局部區域的中心點確定為初始點進行跟蹤并加入所述軌跡集合；以每一軌跡上的位置為中心，計算所述中心周圍鄰域中的水平方向與豎直方向的光流差并統計形成直方圖，作為對局部區域的運動特性描述子；對所有所述局部區域的運動特性描述子進行聚類，構建運動特性的視覺詞典；根據最近鄰原則，將每一所述局部區域的運動特性描述子劃分到距離最近的聚類團簇中，并統計所述視頻中所有團簇出現的頻次，構建直方圖向量，作為對所述視頻中人體行為的運動特性的表達。4.根據權利要求1所述的方法，其特征在于，所述確定所述時空表觀特征和所述運動特征的時空結構信息，具體包括：確定所述視頻的中心位置；計算各個具有所述時空表觀特征和所述運動特征的像素點位置與所述視頻中心位置之間的偏移量，從而確定所述時空表觀特征和所述運動特征的時空結構信息。5.根據權利要求4所述的方法，所述視頻包括含有人體行為的中心位置標注的視頻和不含行為中心位置標注的視頻；其特征在于：所述確定所述視頻的中心位置具體包括：針對所述含有人體行為的中心位置標注的視頻，計算所...

【專利技術屬性】
技術研發人員：胡衛明，楊雙，原春鋒，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：北京,11