圖像攝取裝置、圖像攝取裝置控制方法和程序制造方法及圖紙

本發明專利技術公開了圖像攝取裝置、圖像攝取裝置控制方法和程序。該圖像攝取裝置包括控制單元和圖像傳感器，控制單元生成曝光時間控制數據，在曝光時間控制數據中以像素區域為單位設置了圖像傳感器的曝光時間，圖像傳感器輸入曝光時間控制數據并且執行基于以像素區域為單位的曝光時間控制的圖像獲取。控制單元基于形成前一攝取圖像的一部分的像素區域單位的亮度信息按順序依次生成以區域為單位的曝光時間控制數據，并且將曝光時間控制數據輸出到圖像傳感器。圖像傳感器從控制單元輸入以區域為單位的曝光時間控制數據，并且按順序依次使用輸入的曝光時間控制數據來執行基于以像素區域為單位的曝光時間控制的圖像獲取。

【技術實現步驟摘要】

本專利技術涉及ー種圖像攝取裝置、圖像攝取裝置控制方法和程序。更詳細地說，本專利技術涉及ー種執行以區域(region)為單位的曝光控制的圖像攝取裝置、圖像攝取裝置控制方法和程序。
技術介紹
以下參考圖I對以圖像傳感器為示例的ー個CMOS(互補金屬氧化物半導體)圖像傳感器的配置和圖像攝取過程的示例進行描述。圖I是示出了圖像傳感器(CMOS圖像傳感器)101的部分配置的示圖。圖像傳感器(CMOS圖像傳感器)101包括垂直掃描電路102、水平掃描電路103和設置成陣列的多個像素104。當執行曝光過程以攝取ー對象(subject)的圖像時，電荷在每個像素104內部的光電ニ極管中積聚。積聚在每個像素的光電ニ極管中的電荷通過放大晶體管和轉移晶體管 被輸出到垂直信號線113。輸出到垂直信號線113的信號電流還提供給水平掃描電路103，并且在經過指定的信號處理之后，通過信號輸出線114被輸出到外圍。因為每個垂直信號線113通常連接到在垂直方向上對齊的像素，因此為了讀出單個像素的信號，必須保證每次只能將ー個像素的信號輸出到垂直信號線113。通過圖像傳感器(CMOS圖像傳感器)101，可以分別從單個像素讀出信號，例如，首先從在底行上排列的各個像素104d讀出信號，如圖2A所示，然后從另一行像素104c讀出信號，如圖2B所示，然后按順序更換讀取行以讀出信號。例如，用于這種像素讀取的控制信號被從連接到圖I中示出的垂直掃描電路102的水平復位線111和水平選擇線112輸出。在積聚電荷的讀取過程完成之后，構成圖像傳感器(CMOS圖像傳感器)101的個別像素104立即再次開始曝光。也就是說，開始了下一圖像幀的曝光過程。這樣，當讀出過程以行為單位按順序執行并且隨后立即開始曝光過程時，曝光開始時間和結束時間將不同，也就是說，第一行上的光電ニ極管104a與最后一行上的光電ニ極管104d在曝光時間(或曝光周期)上會有所不同。這是快門操作的特有現象，稱為“焦面快門”或“滾動快門”。注意，雖然附圖中只示出4行104a到104d，這是因為圖中只能示出圖像傳感器的一部分，而實際的圖像傳感器將有很多行，諸如幾百到幾千行，信號同樣需要以行為單位按順序讀出。現有的圖像傳感器一般會使用能確保每個像素的曝光時間都相同的配置，曝光時間是指從曝光開始到結束的時間。然而，近年來，已經提出了一種根據對象亮度控制圖像傳感器上個別像素的曝光時間的配置。通過執行這種曝光控制，可以增大攝取圖像的動態范圍。現在，將對ー種通過控制曝光時間(以下簡稱“快門控制”)來擴展動態范圍的方法進行描述。如果在亮對象區域內増加曝光時間，那么像素內將充滿積聚電荷，這阻礙了獲得精確像素值。同時，如果在暗對象區域內増加曝光時間，就比較容易獲得對應于對象亮度的精確像素值。因此，在對象明亮的區域中，獲取曝光時間減少的像素的像素值作為有效像素值。同時，在對象較暗的區域中，獲取曝光時間增加的像素的像素值作為有效像素值。一種擴展動態范圍的方法是通過合并曝光時間減少和曝光時間增加的區域來生成輸出圖像。注意，當輸出最后的像素值時，基于相應的曝光時間來執行像素值調整過程。在日本特開2010-136205號專利公開說明書和Jenwei Gu等人的“CodedRolling Shutter Photography Flexible Space-Time Sampling” (ComputationalPhotography (ICCP)，2010)中，公開了ー種通過為圖像傳感器上每一行像素設置不同的曝光時間而擴展攝取圖像的動態范圍的技木。一個示例是針對圖像傳感器上的各行像素交替地設置短曝光行和長曝光行的配置。例如，2010-136205號公開說明書和Jenwei Gu等人的文章公開了ー種執行以行為單位的曝光時間控制從而設置以行為單位的曝光時間以符合屏幕上的像素亮度的方法。2010-136205號公開說明書和Jenwei Gu等人的文章中的配置使用具有電子快門的配置來執行以圖像區域為單位的曝光時間控制。 一種適應性地設置曝光時間以符合對象亮度的算法已有人描述，例如，“A NewAlgorithm for Exposure しontrol Based on Fuzzy Logic ForVideo Camerasr (ShujiShimizu 等人，IEEE Transactions on ConsumerElectronics, Vol. 38-3, (1992))。這樣就說明，已公開了以區域(諸如行)為單位控制曝光時間以符合對象亮度的配置。然而，為了執行符合對象亮度的曝光控制，必須在圖像攝取開始之前，確定以像素為單位的曝光時間。這里存在的ー個問題是，在下列兩個過程之間會產生延遲。過程I :獲取前一(在前，preceding)圖像的過程，該前ー圖像將用于確定以像素為單位的曝光時間的過程，以及過程2 :在過程I之后的圖像攝取過程，執行反映過程I所產生的信息的曝光控制。上述延遲越長，越難以追蹤亮度變化。結果就存在這樣的問題有時候在亮度變化之后，將會獲取太亮或者太暗的圖像。具體地說，當針對諸如行単位或像素単位的區域執行曝光控制時，與過去在整個屏幕上執行曝光控制相比，有必要執行更加嚴格的曝光控制。當過去為整個屏幕確定單個曝光時間時，物體的局部移動僅會造成極其微小的亮度變化。然而，當在逐區域基礎上執行曝光控制時，就必須要追蹤物體的這種局部移動，且此追蹤中的延遲會造成比以前更大的影響。現在，將參照圖3和4對曝光控制中反映運動的延遲進行描述。在圖3和4中，橫軸表示時間，縱軸表示像素的行。例如，在圖3中，圖中以虛線151a、151b示出了以行為單位的電荷讀取定時的變化。圖3中示出的多個矩形塊示出了單個攝取圖像幀的曝光時間，并且表示行塊單元的曝光時間，每個行塊單元由一行或多行組成。在前一攝取圖像幀的讀取線151a表示的定時后立即開始曝光過程。如讀取線151a所示，曝光開始時間以行為單位逐漸變化。如圖3中的圖表所示，上面的行較早便開始曝光，但是靠近底部的行要經過增加的延遲之后才開始曝光。對于在最頂部的行而言，時間(tl)為曝光開始時間，而對于最底部的行而言，時間(t2)為曝光開始時間。圖3示出的多個矩形塊的右端是對曝光圖像執行讀出過程的定時，并且在讀取線151b示出的定時讀取每行像素的積聚電荷。在這個示例中，因為曝光結束時間近似等于讀出過程時間，如圖3中的讀取線151b所示，因此從第一行開始按順序對各行像素執行讀出過程。對于最頂部的行而言，時間(t2)為曝光結束時間，而對于最底部的行而言，時間(t3)為曝光結束時間。注意，在這個示例中，因為各個行的曝光開始和曝光結束都以行為單位作出等量的變化，所以每行的曝光時間都是相同的。在圖4中，示出了在視頻圖像的圖像攝取過程中對應于三個連續的圖像攝取幀(編號為N到N+2)的曝光過程和讀出定吋。在讀出第N幀中的最后一行之后，開始讀出第N+1幀中的第一行。第N幀的整個圖像可以在最后一行的讀出定時獲取。然而，由于在此時已經開始曝光第N+1幀，第N+1幀的曝光控制不可能反映對第N幀獲取的圖像，并且這種控制對于之后的第N+2幀(即，延遲兩幀)才可能實現。然而，因為從讀出第N幀的最后一行到開始曝光第本文檔來自技高網...

【技術保護點】
一種圖像攝取裝置，包括：控制單元，該控制單元生成曝光時間控制數據，在所述曝光時間控制數據中以像素區域為單位設置了圖像傳感器的曝光時間；以及圖像傳感器，該圖像傳感器輸入所述曝光時間控制數據并且執行基于以像素區域為單位的曝光時間控制的圖像獲取，其中所述控制單元基于形成前一攝取圖像的一部分的像素區域單位的亮度信息按順序依次生成以區域為單位的曝光時間控制數據，并且將所述曝光時間控制數據輸出到所述圖像傳感器，并且所述圖像傳感器從所述控制單元輸入以區域為單位的曝光時間控制數據，并且按順序依次使用輸入的曝光時間控制數據來執行基于以像素區域為單位的曝光時間控制的圖像獲取。

【技術特征摘要】
2011.06.13 JP 2011-1311161.一種圖像攝取裝置，包括 控制單元，該控制單元生成曝光時間控制數據，在所述曝光時間控制數據中以像素區域為單位設置了圖像傳感器的曝光時間；以及 圖像傳感器，該圖像傳感器輸入所述曝光時間控制數據并且執行基于以像素區域為單位的曝光時間控制的圖像獲取， 其中所述控制單元基于形成前一攝取圖像的一部分的像素區域單位的亮度信息按順序依次生成以區域為單位的曝光時間控制數據，并且將所述曝光時間控制數據輸出到所述圖像傳感器，并且 所述圖像傳感器從所述控制單元輸入以區域為單位的曝光時間控制數據，并且按順序依次使用輸入的曝光時間控制數據來執行基于以像素區域為單位的曝光時間控制的圖像獲取。2.根據權利要求I所述的圖像攝取裝置， 其中所述控制單元基于以所述前一攝取圖像的至少一行為單位的亮度信息按順序依次生成以區域為單位的曝光時間控制數據，并且將所述曝光時間控制數據輸出到所述圖像傳感器，并且 所述圖像傳感器從所述控制單元輸入以區域為單位的曝光時間控制數據，并且按順序依次使用輸入的曝光時間控制數據來執行基于以至少一行為單位的曝光時間控制的圖像獲取。3.根據權利要求I所述的圖像攝取裝置， 其中所述控制單元生成通過僅參照作為像素區域的一個塊計算出的曝光時間控制數據并且將所述曝光時間控制數據輸出到所述圖像傳感器，所述像素區域是用于獲取所述前一攝取圖像的亮度信息的單位，并且 所述圖像傳感器執行基于使用了所述曝光時間控制數據的曝光時間控制的圖像獲取。4.根據權利要求I所述的圖像攝取裝置， 其中所述控制單元生成第一曝光時間控制數據和第二曝光時間控制數據并且將所述第一曝光時間控制數據和所述第二曝光時間控制數據輸出到所述圖像傳感器，所述第一曝光時間控制數據是通過僅參照作為像素區域的一個塊計算得到的，所述第二曝光時間控制數據是通過參照多個塊計算得到的，所述像素區域是用于獲取所述前一攝取圖像的亮度信息的單位，并且 所述圖像傳感器執行基于選擇性使用了所述第一曝光時間控制數據和所述第二曝光時間控制數據中的一者的曝光時間控制的圖像獲取。5.根據權利要求4所述的圖像攝取裝置， 其中當執行基于選擇性使用所述第一曝光時間控制數據和所述第二曝...

【專利技術屬性】
技術研發人員：海津俊，光永知生，城堅誠，栗田哲平，
申請(專利權)人：索尼公司，
類型：發明
國別省市：