原始圖像處理系統及方法技術方案

一種相機中的處理原始圖像數據的方法，該方法包括：從原始圖像數據計算亮度圖像；以及從原始圖像數據計算對應于所述傳感器的圖像顏色中的至少一種的至少一個色度圖像。亮度圖像以及一個或多個色度圖像可以與能夠在原始圖像數據中表示的顏色范圍表示相同的顏色范圍。色度圖像可以具有比亮度圖像的分辨率更低的分辨率。還公開了一種用于執行該方法的相機。

Primitive Image Processing System and Method

A method for processing raw image data in a camera includes: calculating a brightness image from the original image data; and calculating at least one chroma image corresponding to at least one of the image colors of the sensor from the original image data. Brightness images and one or more chroma images can represent the same color range as the color range that can be represented in the original image data. Chromaticity images can have lower resolution than brightness images. A camera for executing the method is also disclosed.

【技術實現步驟摘要】
原始圖像處理系統及方法
本專利技術涉及相機中的圖像處理方法。示意性實施例將集中在使用RGB拜耳(Bayer)顏色濾波陣列所捕獲的圖像上，但是其他實施例可以使用不同的圖像捕獲布置來實現，這些圖像捕獲布置包括包括白色或未過濾像素的CFA。
技術介紹
數碼彩色相機使用圖像傳感器(通常為電荷耦合裝置(CCD)或互補金屬氧化物半導體傳感器(CMOS))來電子地捕獲真實場景的彩色圖像。由于圖像傳感器的單色性，數碼相機制造商會實施各種解決方案來捕獲場景的色彩特性。這些解決方案包括使用每個顏色通道使用一個傳感器的三傳感器裝置；使用垂直顏色敏感的感光點；或者最常見地，使用具有顏色濾波陣列的單傳感器裝置。單傳感器裝置表示目前用于彩色成像的最具有成本效益的方法之一，并且被廣泛地應用于數碼相機。在單傳感器相機中，基本上是顏色濾波器的空間陣列的顏色濾波陣列(CFA)被放置在單圖像傳感器的前面，以同時捕獲不同的光譜成分(顏色)。CFA的濾波器與單圖像傳感器的感光點在空間上相關聯，使得每個感光點都具有相對應的光譜選擇性濾波器。由單傳感器相機捕獲的原始圖像通常構成在每個感光點處僅有一個色素的像馬賽克的灰度圖像。然后對原始圖像進行一系列圖像處理步驟，以生成真實地表示所捕獲的真正的視覺場景的圖像。所使用的最常見類型的CFA是如圖2所示的具有交替的紅色、綠色和藍色顏色濾波器的拜耳CFA。由于在每個感光點處僅捕獲一種顏色類型，所捕獲的原始圖像是在不同的感光點處的每一處具有紅色值、綠色值和藍色值的“馬賽克”。使用被稱為“去馬賽克”的過程以為每個感光點生成全色信息。在這個過程中，感光點的缺失的顏色信息是通過插值過程來根據相鄰的感光點確定的。當對具有拜耳CFA的傳感器使用三色圖像采集時，通過該去馬賽克過程，原始圖像數據量會增加三倍。也可能需要諸如白平衡、顏色變換、減少噪聲、色調映射的進一步處理。這些處理步驟可以執行如下：(1)在相機存儲圖像之前進行，使得用戶可以在任何時候在顯示器上觀看準備好的已存儲的圖像。由于所捕獲的圖像或視頻的即時觀看通常是非常需要的，大多數消費類相機應用選擇在原始圖像數據被存儲之前對原始圖像數據進行處理。(2)相機可能會延遲上述一些這樣的圖像處理步驟，直到后處理前。這種方法在專業相機應用中更為普遍。兩種選擇各自具有優點和缺點。如上所述，第一種選擇涉及將各種圖像處理算法應用于圖像傳感器的原始數據，例如去馬賽克然后對去馬賽克的圖像數據進行壓縮。該選擇的主要缺點是后處理的限制以及壓縮效率低下。后處理的限制是由于某些顏色處理已經應用于去馬賽克數據以及在壓縮過程中潛在的某些圖像信息丟失。壓縮效率低下是由于去馬賽克算法導致產生與原始圖像數據相比的三倍的數據量。然后，這些附加的數據需要在圖像被存儲之前進行更大程度的壓縮從而達到更小的尺寸或比特率。第二種選擇涉及對圖像傳感器的原始圖像數據進行編碼和壓縮，然后對經壓縮的帶馬賽克的原始圖像數據進行存儲，而不進行去馬賽克、白平衡等。該選擇在后處理中提供了更多的靈活性，因為圖像傳感器所捕獲的所有視覺信息都被保留。與對原始數據進行完全去馬賽克之后對圖像編碼相比，該選擇還需要更少的壓縮，因為通過去馬賽克沒有生成額外的圖像數據。然而，這需要在解碼階段進行大量的處理，例如完全去馬賽克以及可能需要的任何進一步的圖像處理。本專利技術提供一種相機原始圖像數據處理方法和/或系統，其旨在解決上述問題中的至少一些問題，或者至少提供有用的替代方案。參考說明書中的任何現有技術并非承認或暗示：該現有技術形成任何轄區的公知常識的部分，或者該現有技術可被合理預期被理解，并且被認為是與本領域技術人員所知的其他現有技術有關，和/或與本領域技術人員所知的其他現有技術組合。
技術實現思路
在寬泛的概念中，本專利技術提供了一種相機中的處理原始圖像數據的方法。該方法廣泛地包括：從原始圖像數據計算亮度圖像；以及從原始圖像數據計算對應于傳感器的圖像顏色中的至少一種的至少一個色度圖像。亮度圖像和一個或多個色度圖像與能夠在原始圖像數據中表示的顏色范圍可以表示相同顏色范圍。在本說明書中，如果圖像或圖像數據被描述為表示來自圖像傳感器的原始圖像數據，那么應該理解為意味著圖像或圖像數據沒有經歷處理，該處理會減小能夠由圖像或圖像數據表示的顏色值的范圍。即，該圖像的數據范圍或圖像數據與圖像傳感器能夠輸出的圖像的數據數據范圍或圖像數據相比沒有受到限制或剪除。當然，應該理解的是，任何給定圖像類型(例如，亮度圖像、色度圖像、顏色平面)的圖像或圖像數據自身可能無法表示能夠包含在原始圖像數據中的整個顏色范圍。本專利技術的實施例還提供了一種方法，該方法廣泛地包括：對傳感器原始圖像數據去馬賽克，以在每個捕獲的顏色處生成相應的去馬賽克圖像，從去馬賽克的圖像數據計算亮度圖像；以及計算與傳感器的圖像顏色中的至少一個相對應的色度圖像，其中，所述色度圖像的分辨率小于所述亮度圖像的分辨率。有利地，去馬賽克可以以針對相機的圖像傳感器優化的方式來執行。在下面的描述中，“顏色濾波器陣列”應理解為除了常規的顏色濾波器陣列之外，還包括在顏色濾波器陣列中具有如下特征的位置的顏色濾波器陣列：沒有顏色過濾，例如根本不存在濾波器，中性密度濾波器，清晰、透光的濾波器元件；使用與給定顏色不相關聯的通帶濾波(例如，高通濾波器、低通濾波器、寬通帶濾波器等)。因此，顏色濾波器陣列中的“顏色”或圖像的顏色(以及字顏色的相關用途)的概念用作顏色濾波器陣列中對應的濾波器元件的通帶的標志符。一方面，本專利技術提供了一種相機中的處理圖像數據的方法，所述相機包括具有顏色濾波器陣列的圖像傳感器，其中，所述圖像傳感器包括感光點陣列，每個感光點被配置成接收所述顏色濾波器陣列中的多個顏色中的相應的一個顏色的光并且輸出說明在對應的感光點處所捕獲的光的強度的像素值。該方法可以包括：生成表示從圖像傳感器輸出的原始圖像數據的具有第一分辨率的亮度圖像；以及生成表示從圖像傳感器輸出的原始圖像數據的至少一個色度圖像，所述色度圖像具有小于第一分辨率的第二分辨率。另一方面，本專利技術提供了一種相機中的處理圖像數據的方法，所述相機被配置成使用具有顏色濾波器陣列的圖像傳感器來捕獲原始圖像數據，其中，所述圖像傳感器包括感光點陣列，每個感光點被配置成接收所述顏色濾波器陣列中的多個顏色中的相應的一個顏色的光并且輸出說明在對應的感光點處所捕獲的光的強度的像素值；所述方法包括：對所捕獲的原始圖像數據去馬賽克，以生成與顏色濾波器陣列的多種顏色相對應的多個顏色圖像；生成具有第一分辨率的亮度圖像；以及生成對應于顏色濾波器陣列顏色中的相應的一個顏色的至少一個色度圖像，所述至少一個色度圖像具有小于第一分辨率的第二分辨率。去馬賽克可以包括生成對應于顏色濾波器陣列的每種顏色的顏色圖像。優選地，每種顏色的顏色圖像具有第一分辨率。本專利技術上述各方面的實施例可以包括各種可選特征。在優選情況下，生成兩個或更多個色度圖像。在以上方面中的任意一個方面，生成(具有給定顏色的)顏色圖像可以包括：針對顏色圖像中的每個像素，基于圍繞該像素的多個像素執行邊緣檢測和線檢測中的至少一個，并且基于所述邊緣檢測或所述線檢測來確定所述像素值。確定像素值可以包括：選擇圍繞另一像素的像素的子集，以確定所述像素值。它可替代地或附加本文檔來自技高網...

【技術保護點】
1.一種在相機中處理圖像數據的方法，所述相機包括具有顏色濾波器陣列的圖像傳感器，其中，所述圖像傳感器包括感光點陣列，每個感光點被配置成接收所述顏色濾波器陣列中的多個顏色中的相應的一個顏色的光并且輸出說明在對應的感光點處捕獲的光的強度的像素值；所述方法包括：生成表示從所述圖像傳感器輸出的原始圖像數據的、具有第一分辨率的亮度圖像；以及生成表示從所述圖像傳感器輸出的原始圖像數據的至少一個色度圖像，所述色度圖像具有小于所述第一分辨率的第二分辨率。

【技術特征摘要】
2017.06.15 AU 20179022841.一種在相機中處理圖像數據的方法，所述相機包括具有顏色濾波器陣列的圖像傳感器，其中，所述圖像傳感器包括感光點陣列，每個感光點被配置成接收所述顏色濾波器陣列中的多個顏色中的相應的一個顏色的光并且輸出說明在對應的感光點處捕獲的光的強度的像素值；所述方法包括：生成表示從所述圖像傳感器輸出的原始圖像數據的、具有第一分辨率的亮度圖像；以及生成表示從所述圖像傳感器輸出的原始圖像數據的至少一個色度圖像，所述色度圖像具有小于所述第一分辨率的第二分辨率。2.根據權利要求1所述的方法，其中，所述方法包括對由所述圖像傳感器生成的原始圖像數據去馬賽克，以生成與所述顏色濾波器陣列的每種顏色相對應的顏色圖像。3.根據權利要求2所述的方法，其中，生成給定顏色的顏色圖像包括：對于所述顏色圖像中的每個像素，基于圍繞另一像素的多個像素執行邊緣檢測和線檢測中的至少一種，并且基于所述邊緣檢測或所述線檢測確定所述像素值。4.根據權利要求3所述的方法，其中，確定用于給定像素的所述像素值能夠包括：選擇圍繞所述給定像素的像素的子集，以確定所述像素值。5.根據權利要求3或4中任一項所述的方法，其中，確定用于給定像素的像素值能夠包括在確定所述像素值時對圍繞所述給定像素的像素的子集中的像素應用加權。6.根據權利要求5所述的方法，其中，能夠基于適用于所述子集內被加權的像素或者像素的所述子集的噪聲水平來確定所述子集中的像素的所述加權。7.根據前述權利要求中任一項所述的方法，其中，生成色度圖像包括計算以下項之一：各個顏色圖像的像素值與所述亮度圖像中的像素的子集處的所述亮度圖像的像素值之間的差；以及各個顏色圖像的像素值與綠色圖像中的像素的子集處的所述綠色圖像的像素值之間的差。8.根據權利要求1所述的方法，其中，使用濾波器內核從所述原始圖像數據生成所述亮度圖像的任意一個或多個以及一個或多個色度圖像。9.根據權利要求8所述的方法，其中，生成所述亮度圖像和一個或多個色度圖像而不對所述原始圖像數據去馬賽克。10.根據前述權利要求中任一項所述的方法，其中：所述捕獲的原始圖像數據具有N×M像素的分辨率；和...

【專利技術屬性】
技術研發人員：C·比特納，
申請(專利權)人：黑魔法設計私人有限公司，
類型：發明
國別省市：澳大利亞,AU