立體匹配系統中的預處理裝置制造方法及圖紙

提供了一種立體匹配系統中的預處理裝置。在該預處理裝置中，接收立體相機的坐標信息，實時指定圖像的像素的新地址，并且使用像素的新地址和立體相機的權重信息來對左圖像和右圖像進行插值。

Preprocessing device in stereo matching system

A preprocessing device in a stereo matching system is provided. In the pretreatment device, receiving stereo camera coordinate information, a new real-time image of the specified pixel address, new address and stereo camera weight information and using pixel interpolating the left and right images.

【技術實現步驟摘要】
【國外來華專利技術】立體匹配系統中的預處理裝置
本專利技術涉及一種用于預處理三維圖像的技術，并且更具體地涉及一種在立體相機等中使用的立體匹配系統中的預處理裝置。
技術介紹
如所周知的，人的視覺是用于獲得周邊環境信息的感官之一，并且可以通過雙眼來識別對象的位置和距離。也就是說，將通過雙眼接收的視覺信息合并為距離信息，以使得人能夠自由移動而不會感到不便。當使用一種機構來實現人的視覺結構時，使用立體相機系統。在立體相機系統中，對使用兩個相機所獲得的圖像執行立體匹配。在該情況下，兩個相機的外部和內部結構彼此不同。因此，為了使兩個相機的內部結構等同(equalize)，在常規立體匹配系統中，通過針對兩個相機之間的差異創建參考表并且對兩個相機中的每個相機應用該參考表中的值來執行預處理。然而，由于在使用參考表的常規立體匹配系統中應當使用多個非易失性存儲器(ROM)，所以硬件尺寸增大并且硬件價格上漲。
技術實現思路
技術問題本專利技術旨在解決上述問題。因此，本專利技術的目的是提供一種立體匹配系統中的預處理裝置，其中，將立體相機的權重信息設置為等同值，去除了非易失性存儲器，并且實時計算像素的新地址，以使得能夠在保持相同性能的同時降低硬件的尺寸和價格。解決方案根據本專利技術的一個方面，提供了一種預處理裝置，該預處理裝置包括：地址生成器，該地址生成器被配置成接收立體相機的坐標信息并且實時指定圖像的像素的新地址；以及插值器，該插值器被配置成使用像素的新地址和立體相機的權重信息來對左圖像和右圖像進行插值。坐標信息可以包括左行位置、左列位置、右行位置以及右列位置。插值器可以包括：左插值器，該左插值器被配置成對左圖像進行插值；以及右插值器，該右插值器被配置成對右圖像進行插值。地址生成器可以使用坐標信息來實時指定左圖像的像素的新地址，并且將左圖像的像素的指定新地址提供給左插值器。地址生成器可以使用坐標信息來實時指定右圖像的像素的新地址，并且將右圖像的像素的指定新地址提供給右插值器。預處理裝置還可以包括第一存儲裝置，該第一存儲裝置被配置成存儲從立體相機接收的左圖像和右圖像。第一存儲裝置可以包括易失性存儲器。權重信息可以被作為預定值提供給插值器。該預定值可以為大致0.25。插值器可以從地址生成器實時接收預定數目的像素的新地址，并且將權重信息應用于所述預定數目的像素的新地址以獲得相應像素的平均值。插值器還可以包括第二存儲裝置，該第二存儲裝置被配置成存儲從地址生成器實時接收的預定數目的像素的新地址。第二存儲裝置可以包括易失性存儲器。有益效果如上所述，在根據本專利技術的立體匹配系統中的預處理裝置中，去除了常規預處理裝置中使用的非易失性存儲器，以使得可以減小系統的尺寸并且降低成本。另外，通過使立體相機的權重信息等同為預定值來對圖像進行校正，以使得能夠簡化插值器的用于校正圖像的計算。此外，將指定像素的新地址的表達式用等同表達式來替代，從而簡化了用于地址生成的計算。附圖說明圖1是示出立體匹配系統中的常規預處理裝置的配置視圖。圖2是示出根據本專利技術的實施方式的立體匹配系統中的預處理裝置的配置視圖。圖3是示出由立體匹配系統中的常規預處理裝置輸出的經校正圖像的示例性視圖。圖4是示出由根據本專利技術的實施方式的立體匹配系統中的預處理裝置輸出的經校正圖像的示例性視圖。具體實施方式在下文中，參照其中示出本專利技術實施方式的附圖來更全面地描述本專利技術。然而，本專利技術可以以許多不同形式來實施，并且不應當被理解為限于文中所闡述的實施方式。相反，提供這些實施方式以使得本公開內容是詳盡的并且將向本領域的普通技術人員充分傳達本專利技術的范圍。將理解，雖然文中可能使用了術語“第一”、“第二”等來描述各種元件，但是這些元件并不應當受限于這些術語。這些術語僅用于將一個元件與另外的元件進行區分。因此，在不背離本專利技術的教導的情況下，以下所討論的“第一”元件也可以被稱為“第二”元件。將理解，當元件被稱為“耦接”或“連接”至另外的元件時，該元件可以直接耦接或連接至其它元件，或者還可以存在中間元件。相反，當元件被稱為“直接耦接”或“直接連接”至另外的元件時，不存在中間元件。文中所使用的術語僅是為了描述特定實施方式而并非意在限制本專利技術。當在文中使用時，除非上下文另外明確指明，否則單數形式“一(a)”、“一個(an)”和“該(the)”意在也包括復數形式。將進一步理解，在本說明書中使用時，術語“包括(include和/或including)”指定存在所提及的特征、整體、步驟、操作、元件和/或部件，但是并不排除存在和/或添加一個或更多個其它特征、整體、步驟、操作、元件、部件和/或它們的組。在附圖中，為了清楚起見，放大了層、膜和區域的厚度。在全文中相同的附圖標記指代相同元件。在下文中，首先將描述常規預處理裝置，然后將參照附圖來詳細描述根據本專利技術的實施方式的預處理裝置。圖1是示出立體匹配系統中的常規預處理裝置的配置視圖。立體匹配系統中的常規預處理裝置使用校正參數來校正分別從兩個立體相機(未示出)提供的左圖像和右圖像，并且通過使左圖像和右圖像的核線(epipolarline)對準來輸出經校正的左圖像和右圖像。該常規預處理裝置包括預處理單元100和非易失性存儲器單元200。非易失性存儲器單元200包括左行位置存儲裝置210、左列位置存儲裝置220、左行權重存儲裝置230、左列權重存儲裝置240、右行位置存儲裝置250、右列位置存儲裝置260、右行權重存儲裝置270以及右列權重存儲裝置280。這樣，非易失性存儲器單元200存儲坐標信息和權重信息，該坐標信息包括左行位置、左列位置、右行位置、右列位置等，該權重信息包括左行權重、左列權重、右行權重、右列權重等。左地址生成器110根據以下數學表達式使用左行位置存儲裝置210和左列位置存儲裝置220中存儲的數據來估算地址。右地址生成器150根據以下數學表達式使用右行位置存儲裝置250和右列位置存儲裝置260中存儲的數據來估算地址。數學表達式1[Math.1]x←(u-c'x)/f'xy←(v-c'y)/f'y數學表達式2[Math2][XYW]T←R-1×[xy1]T數學表達式3[Math.3]x'←X/Wy'←Y/W數學表達式4[Math.4]x"←x'(1+k1r2+k2r4+k3r6)+2p1x'y'+p2(r2+2x'2)y"←y'(1+k1r2+k2r4+k3r6)+p1(r2+2y'2)+2p2x'y'數學表達式5[Math.5]mapx(u,v)←x"fx+cxmapy(u,v)←y"fy+cy最終通過數學表達式5獲得了分別由左地址生成器110和右地址生成器150輸出的像素的地址。在該情況下，原始相機矩陣為其中，fx表示原始x軸比例因數，fy表示原始y軸比例因數，cx表示原始x軸主點，cy表示原始y軸主點。所生成的新的相機矩陣為其中，f'x表示新的x軸比例因數，f'y表示新的y軸比例因數，c'x表示新的x軸主點，c'y表示新的y軸主點。當假定圖像的大小為N×M時，u表示從1至N的x軸像素索引，并v表示從1至M的y軸像素索引。左地址生成器110和右地本文檔來自技高網...

【技術保護點】
一種預處理裝置，包括：地址生成器，所述地址生成器被配置成接收立體相機的坐標信息并且實時指定圖像的像素的新地址；以及左插值器和右插值器，所述左插值器和所述右插值器被配置成使用像素的新地址和所述立體相機的權重信息來對左圖像和右圖像分別進行插值，所述權重信息作為預定值被提供給所述左插值器和所述右插值器，其中，所述左插值器和所述右插值器中的每一個包括易失性存儲器，并且其中，所述左插值器和所述右插值器分別從地址生成器接收四個像素的新地址且將所接收的新地址存儲在所述左插值器的易失性存儲器中和所述右插值器的易失性存儲器中，并且使用所述四個像素的新地址和所述權重信息來對所述左圖像和所述右圖像進行插值，其中，所述四個像素包括頂像素、底像素、左像素和右像素。

【技術特征摘要】
【國外來華專利技術】2011.11.23 KR 10-2011-01231781.一種預處理裝置，包括：地址生成器，所述地址生成器被配置成接收立體相機的坐標信息并且實時指定圖像的像素的新地址；以及左插值器和右插值器，所述左插值器和所述右插值器被配置成使用像素的新地址和所述立體相機的權重信息來對左圖像和右圖像分別進行插值，所述權重信息作為預定值被提供給所述左插值器和所述右插值器，其中，所述左插值器和所述右插值器中的每一個包括易失性存儲器，并且其中，所述左插值器和所述右插值器分別從地址生成器接收四個像素的新地址且將所接收的新地址存儲在所述左插值器的易失性存儲器中和所述右插值器的易失性存儲器中，并且使用所述四個像素的新地址和所述權重信息來對所述左圖像和所述右圖像進行插值，其中，所述四個像素包括頂像素、底像素、左像素和右像素。2.根據權利要求1所述的預處理裝置，其中，所述坐標信息包括左行位置、左列位置、右行位置以及右列位置。3.根據權利要求1所述的預處理裝置，其中，所述地址生成器使用所述坐標信息來實時指定...

【專利技術屬性】
技術研發人員：李峻瑞，
申請(專利權)人：LG伊諾特有限公司，
類型：發明
國別省市：韓國,KR