使用合成訓練數據的實時騎車人檢測制造技術

本發明專利技術的各實施方式總體上涉及使用合成訓練數據的實時騎車人檢測。具體地，涉及實時地進行關于騎車人是否存在于目標圖像中的確定。接收目標圖像。使用線性分類器對目標圖像分類并且確定目標圖像的誤差值。如果誤差值不超過閾值，則輸出分類。否則，如果誤差值超過閾值，則使用非線性分類器對目標圖像分類。

Real time cyclist detection using synthetic training data

The embodiments of the present invention generally relate to real-time cyclist detection using synthetic training data. In particular, the determination of whether the cyclist is present in the target image is carried out in real time. Receive target image. A linear classifier is used to classify the target image and determine the error value of the target image. If the error value does not exceed the threshold, the output is classified. Otherwise, if the error value exceeds the threshold, then the nonlinear classifier is used to classify the target image.

【技術實現步驟摘要】
使用合成訓練數據的實時騎車人檢測相關申請本申請要求2012年12月21日提交的第61/745,225號美國臨時申請的權益，該臨時申請通過引用全文結合于此。
本申請總體上涉及對象檢測的領域，并且尤其涉及使用層級分類器檢測騎車人的存在。
技術介紹
“對象檢測”是指自動檢測視頻圖像或靜止圖像中對象的存在的任務。例如，檢測系統可以檢測靜止圖像中人或騎車人（bicyclist）的存在。如本文所使用的，“騎車人”是指自行車及其騎行者的組合。對象檢測例如可以在車輛（例如，汽車）中使用以提高車輛駕駛員、乘客、騎車人以及與車輛分享道路的任意其他人的安全性。當前的對象檢測系統存在許多問題。對象檢測系統所存在的一個問題是缺少用于訓練對象檢測模型的擴展訓練集合。包括正樣本（positivesample）（包括所要檢測的對象的圖像）和負樣本（negativesample）（不包括所要檢測的對象的圖像）的訓練集合被提供給機器學習算法以產生對象檢測模型。正樣本對于有限數量的對象類型（例如，行人）可能是可用的，但是可能難以找出用于其它類型的對象（例如，騎車人）的正樣本。此外，當生成用于某個類型的對象的新的訓練集合時，利用某些信息對圖像進行手動注釋。例如，可以將對象存在于圖像中這一指示和/或對象的某些參數（例如，對象的顏色以及對象在圖像中的位置）添加至圖像。機器學習算法使用那些注釋和圖像來生成用于檢測對象的模型。該注釋過程可能是冗長的和耗時的。此外，準確檢測某些類型的對象的存在可能是過于復雜的，并且因此對于實時應用而言可能是過于緩慢的。例如，騎車人識別比行人識別更復雜，因為在騎車人中由于視角所產生的外表變化遠比在行人中更明顯。而且，騎車人的上部身體姿態比典型的行人的姿態變化大。此外，騎車人移動得更快，并且他們經常極其接近車輛。這導致了對象大小的較大變化以及通過運動模糊和散焦的降低的圖像質量。與行人檢測相比，騎車人檢測的復雜度的增加意味著大多數檢測系統不適用于實時應用。因此，某些應用（例如，車輛系統中的騎車人檢測）可能受益于更快的對象識別方案。
技術實現思路
以上問題和其它問題通過一種用于實時確定騎車人是否存在于目標圖像中的方法、非暫態計算機可讀存儲介質和系統而得以解決。該方法的實施例包括接收目標圖像。使用線性分類器對目標圖像分類并且確定目標圖像的誤差值。如果誤差值不超過閾值，則輸出分類。否則，如果誤差值超過閾值，則使用非線性分類器對目標圖像分類。該介質的實施例存儲用于實時確定騎車人是否存在于目標圖像中的可執行計算機程序指令。該指令接收目標圖像。該指令隨后使用線性分類器對目標圖像分類并且確定目標圖像的誤差值。如果誤差值不超過閾值，則輸出分類。否則，如果誤差值超過閾值，則該指令使用非線性分類器對目標圖像分類。用于實時確定騎車人是否存在于目標圖像中的系統的實施例包括至少一個存儲可執行計算機程序指令的非暫態計算機可讀存儲介質。該指令接收目標圖像。該指令隨后使用線性分類器對目標圖像分類并且確定目標圖像的誤差值。如果誤差值不超過閾值，則輸出分類。否則，如果誤差值超過閾值，則該指令使用非線性分類器對目標圖像分類。說明書中所描述的特征和優勢并非是無所不包的，并且特別地，考慮到附圖、說明書和權利要求，許多附加的特征和優勢對本領域普通技術人員而言將是顯而易見的。此外，應當注意到，已經主要出于可讀性和指導性的目的對說明書中所使用的語言進行了選擇，而并非被選擇以限制或限定本專利技術主題。附圖說明圖1是依據實施例的圖示騎車人檢測系統的高層次框圖。圖2是依據實施例的圖示用于用作圖1中圖示的騎車人檢測系統的計算機的示例的高層次框圖。圖3A是依據實施例的圖示圖1中圖示的正訓練圖像生成模塊的詳細視圖的高層次框圖。圖3B是依據實施例的圖示圖1中圖示的檢測模塊的詳細視圖的高層次框圖。圖4A是依據實施例的圖示用于生成用于訓練騎車人檢測模型的正樣本的方法的流程圖。圖4B是依據實施例的圖示用于確定靜止圖像中騎車人的存在的方法的流程圖。附圖僅出于說明的目的而描繪了實施例中的各個實施例。本領域技術人員從以下討論將容易地認識到，可以采用本文所圖示的結構和方法的備選實施例而不背離本文所描述的實施例的原理。具體實施方式現在參考附圖對實施例進行描述，其中相同的附圖標記指示相同或功能上相似的部件。而且，在圖中，每個附圖標記最左側的數字對應于其中首次使用該附圖標記的附圖。圖1是依據實施例的圖示騎車人檢測系統100的高層次框圖。騎車人檢測系統100包括正訓練圖像生成模塊105、學習模塊110和檢測模塊120。騎車人檢測系統100可以在車輛中被用來確定在車輛周邊存在（或不存在）騎車人。如本文所使用的，“騎車人”是指自行車及其騎行者的組合。騎車人檢測系統100例如可以在車輛中使用，以提高車輛內人員的安全性以及與車輛分享道路的騎車人的安全性。在駕駛車輛時，駕駛員可能需要注意多個對象以及在其周邊發生的事件。例如，駕駛員可能需要注意交通信號（例如，交通燈、速度標志和警告標志）、車輛參數（例如，車輛速度、發動機速度、機油溫度和汽油水平）、分享道路的其它車輛、試圖穿越街道的行人，等等。有時，同樣與車輛分享道路的騎車人可能被忽視并且可能被卷入事故之中。騎車人檢測系統100可以被用來檢測騎車人的存在。如果檢測到這樣的存在，則駕駛員能夠被警告存在騎車人。駕駛員還能夠被警告騎車人的位置（例如，車輛右側、車輛左側和車輛前方）、騎車人的速度、騎車人前進的方向、車輛與騎車人之間的距離，等等。正訓練圖像生成模塊105接收騎車人的三維（3D）虛擬模型作為輸入，生成騎車人的二維（2D）圖像，并且輸出所生成的2D圖像。由于2D圖像必然包括騎車人，所以該2D圖像被用作用于訓練對象檢測模型的“正樣本”。正訓練圖像生成模塊105還可以接收一組參數，以在生成騎車人的2D圖像時使用。學習模塊110接收正訓練圖像生成模塊105所生成的2D圖像（正樣本）以及不包括騎車人的圖像（負樣本）作為輸入。學習模塊110隨后使用正樣本和負樣本來訓練用于在圖像中檢測騎車人的存在的層級分類器，并且輸出經訓練的層級分類器。以下參考圖3A對正樣本進一步進行描述。通過以隨機的尺度和位置隨機地裁剪街景的自然圖像來生成負樣本。檢測模塊120接收通過學習模塊110訓練的層級分類器和靜止圖像，生成對象假設，并且輸出該假設。在一些實施例中，通過安裝在車輛上的相機來捕捉靜止圖像。例如，可以使用具有1/1.8英寸傳感器的電荷耦合器件（CCD）相機來捕捉靜止圖像。為了提高相機的快門速度并且減少圖像模糊，還可以使用具有更大傳感器的相機。在一些實施例中，通過從視頻提取所選擇的幀來獲得靜止圖像。該對象假設可以是二元結果（例如，是/否或者騎車人存在/不存在）。圖2是依據實施例的圖示用于用作圖1中圖示的騎車人檢測系統100的計算機200的示例的高層次框圖。圖示了耦合至芯片組204的至少一個處理器202。芯片組204包括存儲器控制器集線器250和輸入/輸出（I/O）控制器集線器255。存儲器206和圖形適配器213耦合至存儲器控制器集線器250，并且顯示設備218耦合至圖形適配器213。存儲設備208、鍵盤210、指向設備214和網絡適配器216耦合至I/O控制器集線器255。計算機20本文檔來自技高網...

【技術保護點】
一種用于實時確定騎車人是否存在于目標圖像中的方法，包括以下步驟：接收所述目標圖像；使用線性分類器確定所述目標圖像的第一分類和誤差值，其中所述誤差值指示所述第一分類不正確的概率；響應于所述誤差值不超過閾值：輸出所述第一分類；以及響應于所述誤差值超過所述閾值：使用非線性分類器確定所述目標圖像的第二分類；以及輸出所述第二分類。

【技術特征摘要】
2012.12.21 US 61/745,225;2013.09.12 US 14/025,4601.一種用于實時確定騎車人是否存在于目標圖像中的方法，包括以下步驟：接收所述目標圖像；使用線性分類器確定所述目標圖像的第一分類和誤差值，其中所述誤差值指示所述第一分類不正確的概率；響應于所述誤差值不超過閾值：輸出所述第一分類；以及響應于所述誤差值超過所述閾值：使用非線性分類器確定所述目標圖像的第二分類；以及輸出所述第二分類。2.根據權利要求1所述的方法，進一步包括：基于騎車人的三維模型生成所述騎車人的多個合成圖像；以及使用所生成的多個合成圖像訓練所述線性分類器和所述非線性分類器。3.根據權利要求2所述的方法，其中生成所述騎車人的所述多個合成圖像包括：基于所述騎車人的所述三維模型呈現騎自行車的人的圖像；以及將背景添加至所呈現的圖像，由此生成組合圖像。4.根據權利要求3所述的方法，其中生成所述騎車人的所述多個合成圖像進一步包括以下各項中的至少一項：降采樣所述組合圖像、平滑所述組合圖像以及裁剪所述組合圖像。5.根據權利要求3所述的方法，其中生成所述騎車人的所述多個合成圖像基于所述騎車人的所述三維模型以及基于參數來執行。6.根據權利要求5所述的方法，其中所述參數包括以下各項中的一項：關于所述人的信息、關于所述自行車的信息以及關于所述騎車人在所呈現的圖像內的位置的信息。7.根據權利要求5所述的方法，進一步包括使用所述參數注釋所述組合圖像。8.根據權利要求2所述的方法，進一...

【專利技術屬性】
技術研發人員：B·海斯勒，
申請(專利權)人：本田技研工業株式會社，
類型：發明
國別省市：日本,JP