前景對象檢測方法與裝置及背景檢測方法與裝置制造方法及圖紙

本發明專利技術提供一種前景對象檢測方法與裝置及背景檢測方法與裝置。其中，前景對象檢測方法用于檢測深度圖像中的像素，前景對象檢測方法包括：從該多個深度圖像中接收該像素的深度值；如果該像素可以第一背景分布模型表示，根據該深度值更新該第一背景分布模型，且將該像素的代表值標記為第一背景；如果該像素位于該第一背景之后，處理備用背景模型；如果該像素位于該第一背景之前，將該像素的該代表值標記為前景；以及提供該像素的該代表值。本發明專利技術提供的前景對象檢測方法可實現簡單而實用的基于深度圖像的前景對象檢測。

【技術實現步驟摘要】

本專利技術有關于一種前景對象檢測方法，更具體地，有關于一種前景對象檢測方法和裝置以及背景檢測方法和裝置。
技術介紹
前景對象檢測是將從相機擷取(capture)圖像中的前景對象與背景分離的過程。前景對象具有各種應用，例如視頻監視(video surveillance)或基于對象的視頻編碼。實際應用中的前景對象檢測方法通常基于背景相減法(background subtraction),背景相減法假設隨時間推移相機為固定(stationary)且可創建并更新背景模型(backgroundmodel)。本領域存在若干實際應用的流行技術,包括調適性高斯集合法(adaptive MixtureofGaussian, M0G)、核心密度估計法(Kernel Density Estimation, KDE)以及編碼本(Codebook)。所有上述前景/背景檢測方法采用圖像處理技術來處理相機擷取的色彩/強度圖像，而其中所擷取圖像不包括深度信息。一種基于混合高斯模型(Mixture ofGaussian)的方法已應用于具有混合的深度和色彩信息的圖像。然而，基于MOG的方法簡單地將深度信息看作色彩信息的組成并因此產生更高的計算復雜度。因此，需要提出低復雜度前景對象檢測方法和裝置，采用深度圖像中的深度信息來檢測深度圖像的場景中所對應的前景對象。
技術實現思路
有鑒于此，本專利技術提供一種前景對象檢測方法與裝置及背景檢測方法與裝置。本專利技術提供一種前景對象檢測方法，用于檢測多個深度圖像中的像素，該前景對象檢測方法包括從該多個深度圖像中接收該像素的深度值；如果該像素可以第一背景分布模型表示，根據該深度值更新該第一背景分布模型，且將該像素的代表值標記為第一背景；如果該像素位于該第一背景之后，處理備用背景模型；如果該像素位于該第一背景之前，將該像素的該代表值標記為前景；以及提供該像素的該代表值。本專利技術再提供一種背景檢測方法，用于多個深度圖像中多個對象邊沿周圍的像素，其中，該多個深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測方法包括從該多個深度圖像中接收該像素的深度值；如果該像素以該第一背景分布模型表示，根據該深度值更新該第一背景分布模型；如果該像素在對應于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型；如果該像素在對應于該第一背景分布模型的該背景之后，建立候選背景分布模型并估計第一發生頻率與第二發生頻率，該第一發生頻率與該第二發生頻率對應于由該第一背景分布模型或該候選背景分布模型分別表示的該像素；如果該第一發生頻率與該第二發生頻率表示高發生頻率，從該候選背景分布模型中建立該第二背景分布模型；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，丟棄該候選背景分布模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，以該候選背景分布模型替換該第一背景分布模型；以及如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。本專利技術另提供一種前景對象檢測裝置，用于多個深度圖像中像素，該前景對象檢測裝置包括接收模塊，用于從該多個深度圖像中接收該像素的深度值；判定模塊，耦接于該接收模塊，用于判定是否該像素可以第一背景分布模型表示；更新模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，則根據該像素的該深度值更新該第一背景分布模型；標記模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，則將該像素的代表值標記為第一背景；而如果該像素位于該第一背景之前，則將該像素的該代表值標記為前景，且該標記模塊輸出提供該像素的該代表值；以及處理模塊，耦接于該判定模塊，如果該像素位于該第一背景之后，則該處理模塊處理備用背景模型。本專利技術還提供一種背景檢測裝置，用于多個深度圖像中多個對象邊沿周圍的像素，其中，該多個深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測裝置包括接收模塊，用于從該多個深度圖像中接收該像素的深度值；判定模塊，耦接于該接收模塊，用于判定是否該像素可以第一背景分布模型表示；更新模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，根據該深度值更新該第一背景分布模型；而如果該像素在對應于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型；處理模塊，耦接于該判定模塊，該處理模塊包括創建模塊、頻率估計模塊、丟棄模塊以及替換模塊；其中，如果該像素在對應于該第一背景分布模型的該背景之后，創建模塊建立候選背景分布模型，且該頻率估計模塊估計第一發生頻率與第二發生頻率，該第一發生頻率與該第二發生頻率分別對應于由該第一背景分布模型或該候選背景分布模型表示該像素的發生頻率；如果該第一發生頻率與該第二發生頻率表示高發生頻率，該創建模塊從該候選背景分布模型中建立該第二背景分布模型的模塊；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，該丟棄模塊丟棄該候選背景分布模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，該替換模塊以該候選背景分布模型替換該第一背景分布模型；以及如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。本專利技術提供的前景對象檢測方法可實現簡單而實用的基于深度圖像的前景對象檢測。附圖說明圖1為通過減去已知背景基于色彩/強度圖像的簡單前景檢測示意圖；圖2為使用三種高斯分布的MOG方法的實例示意圖；圖3為前景中對應兩個人物主體的深度圖像示意圖；圖4為使用深度相機擷取深度圖像的方案示意圖；圖5為對應上述過程的流程圖；圖6為根據本專利技術一個實施例基于深度信息的背景確定示意圖；圖7為根據本專利技術一個實施例的高斯模型更新過程的流程圖8為根據本專利技術一個實施例包括改進的背景更新過程且同時處理無意義像素的系統流程圖；圖9為基于具有混合的兩個高斯模型的深度信息的背景確定示意圖；圖10為根據本專利技術一個實施例基于深度信息的前景對象檢測結果示意圖；圖1lA為根據本專利技術的一個實施例的前景對象檢測裝置的方塊示意圖；圖1lB為圖1lA中處理模塊的方塊示意圖；圖12為根據本專利技術的一個實施例的背景對象檢測裝置的方塊示意圖。具體實施例方式在說明書及權利要求書當中使用了某些詞匯來指稱特定的元件。所屬
的技術人員應可理解，硬件制造商可能會用不同的名詞來稱呼同一個元件。本說明書及權利要求書并不以名稱的差異作為區分元件的方式，而是以元件在功能上的差異作為區分的準貝U。在通篇說明書及權利要求項中所提及的「包含」為一開放式的用語，故應解釋成「包含但不限定于」。此外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。 前景對象檢測是將自相機擷取的圖像中的前景對象與背景分離的過程。前景對象具有各種應用，例如視頻監視或基于對象的視頻編碼。前景對象檢測方法通常基于背景相減法，該背景相減法假設隨時間推移相機為固定的且可創建并更新本文檔來自技高網...

【技術保護點】
一種前景對象檢測方法，用于檢測多個深度圖像中的像素，該前景對象檢測方法包括：從該多個深度圖像中接收該像素的深度值；如果該像素以第一背景分布模型表示，根據該深度值更新該第一背景分布模型，且將該像素的代表值標記為第一背景；如果該像素位于該第一背景之后，處理備用背景模型；如果該像素位于該第一背景之前，將該像素的該代表值標記為前景；以及提供該像素的該代表值。

【技術特征摘要】
2011.09.29 US 13/248,2421.一種前景對象檢測方法，用于檢測多個深度圖像中的像素，該前景對象檢測方法包括 從該多個深度圖像中接收該像素的深度值； 如果該像素以第一背景分布模型表示，根據該深度值更新該第一背景分布模型，且將該像素的代表值標記為第一背景； 如果該像素位于該第一背景之后，處理備用背景模型； 如果該像素位于該第一背景之前，將該像素的該代表值標記為前景；以及 提供該像素的該代表值。2.如權利要求1所述的前景對象檢測方法，其特征在于，如果該像素的深度值在一個范圍之內，該范圍覆蓋對應于該第一背景分布模型的第一值，則該像素以該第一背景分布模型表示。3.如權利要求2所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合高斯分布模型，該高斯分布模型具有平均值或標準差，其中，該第一值與該平均值相關且該范圍與該標準差相關。4.如權利要求2所述的前景對象檢測方法，其特征在于，如果該深度值大于該第一值，該像素位于該第一背景之后。5.如權利要求2所述的前景對象檢測方法，其特征在于，如果該深度值小于該第一值，該像素位于該第一背景之前。6.如權利要求1所述的前景對象檢測方法，其特征在于，更包括，如果該第一背景分布模型不存在，建立新的第一背景分布模型。7.如權利要求6所述的前景對象檢測方法，其特征在于，根據先前幀中的對應像素的先前深度值，建立該新的第一背景分布模型。8.如權利要求6所述的前景對象檢測方法，其特征在于，該新的第一背景分布模型的平均值對應于該像素值或先前幀中對應像素的先前深度值。9.如權利要求1所述的前景對象檢測方法，其特征在于，更包括檢查是否該深度值為有意義的，且如果該深度值為無意義的，在所述的接收該深度值之后，將該像素的該指示標記為該第一背景。10.如權利要求1所述的前景對象檢測方法，其特征在于，根據該深度值或先前幀中對應像素的先前深度值，所述的處理備用背景模型以新的第一背景分布模型替換該第一背景分布模型。11.如權利要求10所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合第一高斯分布，該第一高斯分布具有第一平均值和第一標準差，其中，該深度值用作該第一平均值且預定義值用作該第一標準差。12.如權利要求1所述的前景對象檢測方法，其特征在于，所述的處理備用背景模型包括 如果第二背景分布模型不存在，根據該深度值建立該第二背景分布模型； 如果噪聲估計表示對應于該第二背景分布模型的第二背景為真實背景，則以該第二背景分布模型替換該第一背景分布模型；以及 如果該噪聲估計表示該第二背景為噪聲，則丟棄該第二背景分布模型。13.如權利要求12所述的前景對象檢測方法，其特征在于，該噪聲估計基于該像素以該第二背景分布模型表示的發生頻率。14.如權利要求13所述的前景對象檢測方法，其特征在于，如果該第二背景分布模型代表該像素則增加該發生頻率，否則減少該發生頻率。15.如權利要求14所述的前景對象檢測方法，其特征在于，如果該發生頻率大于高的閾值，則表示該第二背景為該真實背景。16.如權利要求14所述的前景對象檢測方法，其特征在于，如果該發生頻率小于低的閾值，則表示該第二背景為該噪聲。17.如權利要求1所述的前景對象檢測方法，其特征在于，更包括提供對應于該像素的該代表值的背景置信度。18.如權利要求17所述的前景對象檢測方法，其特征在于，該背景置信度與第一計數a相關、第二計數z相關以及第三計數t相關，其中，該第一計數a對由該第一背景分布模型表示的該像素進行計數，該第二計數z對無意義的該像素進行計數，該第三計數t對作為該第一背景的該像素進行計數。19.如權利要求1所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合固定背景分布模型，該固定背景分布模型具有第一值和第二值，其中，如果該深度值與該第一值之間的差值在誤差容忍度之內，則該像素以該第一背景分布模型表示，其中，該誤差容忍度對應于該第二值,該第一值與該第二值為不可更新的。20.如權利要求19所述的前景對象檢測方法，其特征在于，將在該像素處所觀察的最大...

【專利技術屬性】
技術研發人員：張濤，蔡玉寶，
申請(專利權)人：聯發科技新加坡私人有限公司，
類型：發明
國別省市：