圖像處理設備、圖像處理方法和程序技術

提供圖像處理裝置和方法。該裝置包含：成像單元，對圖像成像并生成圖像信號；處理單元，從圖像信號生成包括多個幀的第一視頻數據以及具有比包括在第一視頻數據更高的分辨率的第二視頻數據；編碼單元，壓縮從處理單元輸入的第一和第二視頻數據并在存儲單元中記錄所壓縮的數據；圖像生成單元，檢測第一視頻數據中包括的各幀之間的運動矢量，基于第二視頻數據和檢測到的運動矢量，對位于第一視頻數據中包括的預定幀和第二視頻數據中包括的幀之間的幀執行運動補償，并基于經運動補償的幀和檢測到的運動矢量，順序地生成對應于預定幀的經運動補償的圖像數據，其中，按從對應于接近第二視頻數據的時間的幀起依次執行運動補償。

【技術實現步驟摘要】

本專利技術涉及圖像處理裝置、圖像處理方法和程序。
技術介紹
近年來，涉及數字視頻數據(在下文中稱為視頻數據)的分發的技術已經有了很大進歩。具體地，涉及高圖像質量視頻數據的分發和記錄的技術的發展是顯著的。在其之中，已經對涉及視頻數據的編碼和解碼的技術給予了關注。具有高空間分辨率和時間分辨率的視頻數據具有非常大的數據規模，由此期望在編碼后通過對這些視頻數據高效地壓縮 來對其進行分發和記錄。已經期望使得能夠以更高的壓縮率來對高圖像質量視頻數據進行壓縮的編碼技術，以及使得能夠以更高的空間分辨率進行再現的解碼技木。例如，專利文獻I和2公開了如下的基本技術通過將具有低空間分辨率和高時間分辨率的第一視頻數據(例如，運動圖像數據等)與具有高空間分辨率和低時間分辨率的第二視頻數據(例如，靜止圖像數據序列等)進行組合，生成具有高空間分辨率和時間分辨率的視頻數據。這種技術預測來自第一視頻數據的各幀之間的運動矢量，并且使用運動矢量和第二視頻數據來補償第一視頻數據的高頻分量。這種技術使用從第一視頻數據檢測到的運動矢量以及在與任意時間點接近的時間點處的第二視頻數據的幀，生成未包含在第二視頻數據中的該任意時間點的幀。日本專利申請公開第2004-312276號和第2004-312277號包括這樣的描述其涉及用于使用上述技術生成具有高空間分辨率和時間分辨率的視頻數據的圖像數據記錄和再現設備。[專利文獻I]日本專利申請公開第2004-312276號[專利文獻2]日本專利申請公開第2004-312277號
技術實現思路
然而，如果記錄多個靜止圖像數據中的每ー個的時間間隔很大，那么難以精確地預測運動矢量，由此難以生成高圖像質量視頻數據。換言之，由于圖像數據中的運動主體的變化量變得更大，要生成視頻數據的記錄時間距離所記錄的靜止圖像數據的記錄時間越長，因此使用包含在所記錄的高分辨率靜止圖像中的高頻分量的運動補償變得難以執行。例如，如果靜止圖像數據的記錄時間和期望創建的圖片的記錄時間之間的時間差h變得大于0. I秒，那么運動補償對于高頻分量的補償變得難以執行。如果高清晰度靜止圖像數據的記錄數目増大，那么要保存的數據量顯然變得很大。鑒于上述，期望提供如下的新穎和改善的圖像處理裝置、圖像處理方法以及程序其能夠在使用低分辨率圖像數據序列執行運動預測以及使用高分辨率圖像數據執行運動補償以便生成高分辨率圖像數據時，即使要生成圖像數據的時間和高分辨率圖像數據的時間相距較遠，也能夠實現高精度運動補償。根據本專利技術的ー個方面，提供ー種圖像處理裝置，包含成像単元，用于對圖像成像并生成圖像信號；處理單元，用于從所述圖像信號生成包括多個幀的第一視頻數據以及具有比包括在所述第一視頻數據中的所述幀更高的分辨率的第二視頻數據；編碼單元，用于壓縮從所述處理單元輸入的第一和第二視頻數據并在存儲單元中記錄所壓縮的數據；圖像生成単元，用于檢測從所述存儲單元接收到的所述第一視頻數據中包括的各幀之間的運動矢量；以及基于從所述存儲単元接收到的所述第二視頻數據和檢測到的所述運動矢量，對位于從所述存儲單元接收到的所述第一視頻數據中包括的預定幀和所述第二視頻數據中包括的幀之間的幀執行運動補償，并且基于所述經運動補償的幀和檢測到的所述運動矢量，順序地生成對應于所述預定幀的經運動補償的圖像數據，其中，所述圖像生成単元按從對應于接近第二視頻數據的時間的幀起依次執行運動補償。 根據本專利技術的ー個方面，提供ー種圖像處理方法，包含以下步驟對圖像成像井生成圖像信號；從所述圖像信號生成包括多個幀的第一視頻數據，以及具有比包括在所述第一視頻數據中的所述幀更高的分辨率的第二視頻數據；通過壓縮第一和第二視頻數據并在存儲單元中記錄所壓縮的數據來編碼視頻數據；檢測從所述存儲単元接收到的所述第一視頻數據中包括的各幀之間的運動矢量；以及基于從所述存儲単元接收到的所述第二視頻數據和在所述運動預測步驟檢測到的所述運動矢量，對位于從所述存儲單元接收到的所述第ー視頻數據中包括的預定幀和所述第二視頻數據中包括的幀之間的幀執行運動補償，并且基于所述經運動補償的幀和在所述運動預測步驟中檢測到的所述運動矢量，順序地生成對應于所述預定幀的經運動補償的圖像數據，其中，按從對應于接近第二視頻數據的時間的幀起依次執行運動補償。為了解決上述問題，根據本專利技術的另ー實施例，提供了這樣的圖像處理裝置，其包括獲取單元，用于獲取包括多個連續幀的運動圖像數據，以及對應于所述幀的并且具有比所述幀更高的空間分辨率的ー個或多個圖像數據；運動預測單元，用于使用所述運動圖像數據來檢測各幀之間的運動矢量；以及圖像生成単元，用于基于所述圖像數據和所述運動矢量，生成對應于預定幀的經運動補償的圖像數據。圖像生成単元生成位于所述預定幀與對應于所述圖像數據的幀之間的、且對應于所述幀的經運動補償的圖像數據，并且基于所述經運動補償的圖像數據和所述運動矢量，生成對應于所述預定幀的經運動補償的圖像數據。圖像生成単元可以從與所述圖像數據接近的時間所對應的幀起依次執行運動補償，并且基于所述經運動補償的圖像數據和所述運動矢量順序生成對應于所述預定幀的經運動補償的圖像數據。圖像處理裝置可以進一歩包含存儲單元，其用于記錄所述運動數據圖像以及所述一個或多個圖像數據。在這種情況下，所述獲取単元可以配置為獲取記錄在所述存儲単元中的所述圖像數據以及所述ー個或多個圖像數據。可以將具有低空間分辨率和高時間分辨率的第一圖像數據序列作為所述運動圖像數據而記錄在所述存儲単元中，并且可以將比所述第一圖像數據序列具有更高空間分辨率和更低時間分辨率的第二圖像數據序列作為所述ー個或多個圖像數據而記錄在所述存儲單元中，以便于與包含在所述第一圖像數據序列中的幀對應。運動圖像生成単元可以配置為以包含在所述第一圖像數據序列中但不包含在所述第二圖像數據序列中的幀作為所述預定幀，生成對應于所述預定幀的圖像數據；并且提高所述第ニ圖像數據序列的時間分辨率。可以將通過對成像的圖像信號進行下采樣所獲得的圖像數據序列作為所述運動圖像數據而記錄在所述存儲単元中。所述圖像生成単元可以配置為如果所述運動補償的差異量大于預定值，那么根據所述差異量改變組合作為所述運動矢量的參考源的所述預定幀和作為所述運動矢量的參考目的地的所述圖像數據的比率。如果對應于所述圖像數據的幀與所述預定幀之間的差異量小于預定值，那么所述圖像生成単元可以配置為在不執行運動補償的情況下輸出所述圖像數據，作為對應于所述預定幀的圖像數據。為了解決上述問題，根據本專利技術的另ー實施例，提供了如下的圖像處理方法，包括步驟獲取含有多個連續幀的運動圖像數據，以及對應于所述幀的并且具有比所述幀更高的空間分辨率的ー個或多個圖像數據；使用所述運動圖像數據來檢測各幀之間的運動矢量；以及基于所述圖像數據和所述運動矢量，生成對應于預定幀的經運動補償的圖像數據。在所述圖像生成步驟中，生成位于所述預定幀與對應于所述圖像數據的幀之間的、且對應于所述幀的經運動補償的圖像數據，并且基于所述經運動補償的圖像數據和所述運動矢量，生成對應于所述預定幀的經運動補償的圖像數據。為了解決上述問題，根據本專利技術的另ー實施例，提供了使得計算機實現圖像處理裝置的功能的程序。還可以提供記錄有這種程序的記錄介質。圖像處理裝置從接近已記錄的靜止本文檔來自技高網...

【技術保護點】
一種圖像處理裝置，包含：成像單元，用于對圖像成像并生成圖像信號；處理單元，用于從所述圖像信號生成包括多個幀的第一視頻數據以及具有比包括在所述第一視頻數據中的所述幀更高的分辨率的第二視頻數據；編碼單元，用于壓縮從所述處理單元輸入的第一和第二視頻數據并在存儲單元中記錄所壓縮的數據；圖像生成單元，用于檢測從所述存儲單元接收到的所述第一視頻數據中包括的各幀之間的運動矢量，以及基于從所述存儲單元接收到的所述第二視頻數據和檢測到的所述運動矢量，對位于從所述存儲單元接收到的所述第一視頻數據中包括的預定幀和所述第二視頻數據中包括的幀之間的幀執行運動補償，并且基于所述經運動補償的幀和檢測到的所述運動矢量，順序地生成對應于所述預定幀的經運動補償的圖像數據，其中，所述圖像生成單元按從對應于接近第二視頻數據的時間的幀起依次執行運動補償。

【技術特征摘要】
2007.06.18 JP 160590/071.ー種圖像處理裝置，包含 成像単元，用于對圖像成像并生成圖像信號； 處理單元，用于從所述圖像信號生成包括多個幀的第一視頻數據以及具有比包括在所述第一視頻數據中的所述幀更高的分辨率的第二視頻數據； 編碼單元，用于壓縮從所述處理單元輸入的第一和第二視頻數據并在存儲單元中記錄所壓縮的數據； 圖像生成単元，用于檢測從所述存儲單元接收到的所述第一視頻數據中包括的各幀之間的運動矢量，以及基于從所述存儲単元接收到的所述第二視頻數據和檢測到的所述運動矢量，對位于從所述存儲單元接收到的所述第一視頻數據中包括的預定幀和所述第二視頻數據中包括的幀之間的幀執行運動補償，并且基于所述經運動補償的幀和檢測到的所述運動矢量，順序地生成對應于所述預定幀的經運動補償的圖像數據，其中，所述圖像生成単元按從對應于接近第二視頻數據的時間的幀起依次執行運動補償。2.如權利要求I所述的圖像處理裝置，其中 所述第一視頻數據具有比所述第二視頻數據更低的空間分辨率，以及 所述第二視頻數據具有比所述第一視頻數據更高的空間分辨率。3.如權利要求2所述的圖像處理裝置，其中，所述存儲単元將通過下采樣成像的圖像信號所獲得的圖像數據存儲為所述第一視頻數據。4.如權利要求I所述的圖像處理裝置，其中，如果所述第一視頻數據中包括的預定幀和所述第二視頻數據中包括的幀之間的差異量小于預定...

【專利技術屬性】
技術研發人員：中神央二，田中潤一，矢崎陽一，
申請(專利權)人：索尼株式會社，
類型：發明
國別省市：