用于自動注釋圖像的方法和裝置制造方法及圖紙

本發明專利技術的一個實施方式提供一種自動注釋圖像的系統。在操作中，該系統接收圖像。接著，該系統從圖像中提取圖像特征。該系統繼而標識具有相似圖像特征的其它圖像。該系統接著獲取與所述其它圖像相關聯的文本，并在所獲取的文本中標識相交關鍵字。最后，該系統利用相交關鍵字來注釋圖像。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及用于自動注釋圖像的技術。更具體地，本專利技術涉及通過搜索相似圖像以及關聯這些相似圖像周圍的文本來自動注釋圖像的技術。
技術介紹
最近激增的高帶寬互聯網連接使得數百萬用戶高效率地在互聯網上瀏覽圖像成為可能。這些發展已經使網頁、門戶網站和其它基于網絡應用中所包含的圖像在數量上急劇增多。不幸地，許多圖像并未附有描述圖像內容的文本信息，比如標簽、標題或名稱。由于大部分現有的搜索技術都是基于文本的(舉例，關鍵字搜索)，這就造成搜索特定的圖像極其困難。因此，非常期望能夠利用相關文本注釋這些圖像，舉例，通過增加標題或關鍵字的集合來描述圖像的語義內容。注釋圖像的傳統技術基本上是手動的，可能需要索引者為數以千計、或者在一些情形中數以百萬計的圖像選擇關鍵字。因此，手動圖像注釋可能是極其費力和昂貴的過程。已經開發出用于自動注釋圖像的其它技術(參見“FormulatingSemantic?Image?Annotation?as?a?Supervised?Learning?Problem，”G.Carneiro?and?N.Vasconcelos，Proceedings?of?IEEE?Conference?onComputer?Vision?and?Pattern?Recognition，San?Diego，2005)。這些自動圖像注釋技術能夠顯著減少或消除注釋非常大量圖像集所需要的人工工作。>然而，這些現有的“自動注釋”技術通常仍然包括需要一定程度的人工輔助的步驟，比如需要人工標注一組地面實況數據，或需-->要其它類型的人工交互或反饋。不幸地，這種人工輔助無法有效地成比例匹配在數量上成指數增長的需要被注釋的圖像。因此，需要一種用于自動注釋圖像而不存在上述問題的方法和裝置。
技術實現思路
本專利技術的一個實施方式提供了一種自動注釋圖像的系統。在操作中，該系統接收圖像。接著，該系統從圖像中提取圖像特征。該系統繼而標識具有相似圖像特征的其它圖像。該系統接著獲取與所述其它圖像相關聯的文本，并在所獲取文本中標識相交關鍵字。最后，該系統利用相交關鍵字來注釋圖像。在該實施方式的一種變形中，該系統如下來從圖像中提取圖像特征：(1)將圖像分割成片；以及(2)從所述片中提取圖像特征。在該實施方式的其他變形中，對于不同片大小的組中的每一給定的片大小，該系統將圖像分割成給定片大小的片。在該實施方式的變形中，在標識其它圖像之前，該系統將提取的圖像特征與圖像特征庫中的已知圖像特征進行匹配。在該實施方式的其他變形中，該系統結合匹配的圖像特征以形成圖像的一個或多個圖像特征結合。在另一變形中，該系統通過在其它圖像中標識相似的圖像特征結合來標識具有相似圖像特征的其它圖像。在該實施方式的變化中，該系統可以如下來從圖像中提取圖象特征：(1)生成顏色直方圖；(2)生成方向直方圖；(3)使用離散余弦變換(DCT)技術；(4)使用主成份分析(PCA)技術；或(5)使用伽柏(Gabor)小波技術。在該實施方式的變形中，可以通過(1)形狀；(2)顏色；以及(3)紋理來定義圖像特征。在該實施方式的變形中，該系統通過在互聯網上搜索圖像來標識其它圖像。-->在該實施方式的變形中，該系統通過使用概率模型來標識具有相似圖像特征的其它圖像。在該實施方式的變形中，在標識相交關鍵字之前，該系統通過增加關鍵字的同義詞來對獲取文本中的關鍵字進行擴展。在該實施方式的變形中，該系統從視頻接收圖像。附圖說明圖1給出了描述根據本專利技術一個實施方式的用于自動注釋圖像的過程的流程圖。圖2描述了根據本專利技術一個實施方式的用于自動注釋圖像的基于計算機的系統。具體實施方式給出下面的描述是為了使本領域的任何技術人員能夠使用和理解本專利技術，并且該描述是在特定應用及其需求的上下文中提供的。對于本領域技術人員而言，所公開實施方式的各種變形是顯然的，此處限定的普遍原則可以不脫離本專利技術的精神和范圍而適用于其它實施方式和應用。因此，本專利技術并不局限于示出的實施方式，而是與符合權利要求的最廣泛范圍相一致。本詳細描述中所描述的數據結構和代碼通常存儲在計算機可讀存儲介質上，其可以是能夠存儲由計算機系統使用的代碼和/或數據的任意設備或介質。這包括但是不限于：易失性存儲器，非易失性存儲器，諸如磁盤驅動器、磁帶、CD(壓縮盤)、DVD(數字通用盤或數字視頻盤)的磁和光學存儲設備，或現在已知或以后開發出的能夠存儲計算機可讀介質的其它介質。概述大部分圖像搜索和檢索系統都是文本驅動的，其中用戶輸入關鍵字作為查詢，而計算機系統(或者更具體地，搜索引擎)通過在-->圖像數據庫中搜索與圖像相關的文本來處理該查詢。搜索引擎返回與關鍵字相匹配的文本信息所關聯的“相關”圖像。在這種類型的方案中，無法檢索到未被注釋的圖像，即使該圖像內容與關鍵字高度關聯。因此，為未注釋圖像提供相關文本信息能夠促進圖像的搜索和檢索操作。本專利技術的一個實施方式提供了一種技術，其通過利用web上可用的龐大圖像庫來產生與圖像關聯的文本，以此來自動注釋圖像。更具體地，本專利技術的一個實施方式從給定圖像中提取圖像特征，繼而在互聯網上搜索圖像以標識包含相似圖像特征的圖像集。接著，獲取這些圖像周圍的文本。該技術隨后標識用以注釋該給定圖像的獲取的文本中的共同關鍵字。注意，該技術不需要人工干預，并且利用許多現有的圖像處理技術來執行諸如圖像特征提取和在web上標識相似圖像的步驟。自動注釋過程圖1給出了描述根據本專利技術一個實施方式的用于自動注釋圖像的過程的流程圖。該過程開始于接收圖像以及提供關于該圖像的相關文本信息的請求(步驟100)。注意，可以通過任意的數字格式來格式化和存儲圖像，包括但是不限于：JPEG、GIF、BMP、TIFF、PDF、PS、EMF、MNG、PNG、PSD、SWF和WMF。另外，也可以從數字視頻的靜止幀中獲取圖像。舉例，我們可以從MPEG視頻中的單一幀中提取圖像，并且隨后注釋這個圖像。接著，該過程將圖像分割成特定大小的片(步驟102)，并且隨后從各片中提取圖像特征(步驟104)。注意，能夠從這些片中被提取出的典型圖像特征可以包括但不限于：形狀、顏色和紋理。舉例，可以提取圖像中給定片的各種顏色特征，包括但不限于：顏色直方圖；顏色直方圖布局和顏色矩。另外，可以使用多種圖像處理技術本文檔來自技高網...

【技術保護點】
一種用于自動注釋圖像的方法，包括：　接收所述圖像；　從所述圖像提取圖像特征；　標識具有相似圖像特征的其它圖像；　獲取與所述其它圖像相關的文本；　在與所述其它圖像相關聯的所獲取文本中標識相交關鍵字；以及　利 用所述相交關鍵字來注釋所述圖像。

【技術特征摘要】
【國外來華專利技術】US 2006-7-24 11/492,4851、一種用于自動注釋圖像的方法，包括：
接收所述圖像；
從所述圖像提取圖像特征；
標識具有相似圖像特征的其它圖像；
獲取與所述其它圖像相關的文本；
在與所述其它圖像相關聯的所獲取文本中標識相交關鍵字；以及
利用所述相交關鍵字來注釋所述圖像。
2、根據權利要求1所述的方法，其中從所述圖像提取圖像特征
包括：
將所述圖像分割成片；以及
從所述片中提取所述圖像特征。
3、根據權利要求2所述的方法，其中對于不同片大小的集合中
的每個給定片大小，將所述圖像分割成片包括：將所述圖像分割成
所述給定片大小的片。
4、根據權利要求1所述的方法，其中在標識所述其它圖像之前，
該方法還包括：將所述提取出的圖像特征與圖像特征庫中的已知圖
像特征進行匹配。
5、根據權利要求4所述的方法，其中該方法還包括：結合所述
匹配的圖像特征，以形成圖像的一個或多個圖像特征結合。
6、根據權利要求5所述的方法，其中標識具有相似圖像特征的
所述其它圖像包括：在所述其它圖像中標識相似的圖像特征結合。
7、根據權利要求1所述的方法，其中從所述圖像中提取所述圖
像特征可以包括：
生成顏色直方圖；
生成方向直方圖；
使用離散余弦變換(DCT)技術；
使用主成份分析(PCA)技術；或
使用伽柏小波技術。
8、根據權利要求1所述的方法，其中可以按照以下項來定義所
述圖像特征：
形狀：
顏色；以及
紋理。
9、根據權利要求1所述的方法，其中標識所述其它圖像包括在
互聯網上的圖像中進行搜索。
10、根據權利要求1所述的方法，其中標識具有相似圖像特征的
所述其它圖像包括使用概率模型。
11、根據權利要求1所述的方法，其中在標識所述相交關鍵字之
前，該方法還包括：通過增加關鍵字的同義詞對所述所獲取文本中
的關鍵字進行擴展。
12、根據權利要求1所述的方法，其中接收所述圖像包括從視頻
接收所述圖像。
13、一種存儲指令的計算機可讀存儲介質，當所述指令被計算機
執行時，其使計算機執行用于自動注釋圖像的方法，該方法包括：
接收所述圖像；
從所述圖像提取圖像特征；
標識具有相似圖像特征的其它圖像；
獲取與所述其它圖像相關聯的文本；
在與所述其它圖像相關聯的所獲取文本中標識相交關鍵字；以及
利用所述相交關鍵字來注釋所述圖像。
14、根據權利要求13所述的計算機可讀存儲介質，其中從所述
圖像提取圖像特征包括：
將所述圖像分割成片；以及
從所述片中提取所述圖像特征。
15、根據權利要求14所述的計算機可讀存儲介質，其中對于不
同片大小的集合中的每個給定片大小，將所述圖像分割成片包括：
將所述圖像分割成所述給定片大小的片。
16、根據權利要求13所述的計算機可讀存儲介質，其中在標識
所述其它圖像之前，該方法還包括：將所述提取出的圖像特征與圖
像特征庫中的已知圖像特征進行匹配。
17、根據權利要求16所述的計算機可讀存儲介質，其中該方法
進一步包括：結合所述匹配的圖像特征，以形成圖像的一個或多個
圖像特征結合。
18、根據權利要求17所述的計算機可讀存儲介質，其中標識具
有相似圖像特征的所述其它圖像包括：在所述其它圖像中標識相似
的圖像特征結合。
19、根據權利要求13所述的計算機可讀存儲介質，其中從所述
圖像中提取所述圖像特征可以包括：
生成顏色直方圖；
生成方向直方圖；
使用離散余弦變換(DCT)技術；
使用主成份分析(PCA)技術；或
使用伽柏小波技術。
20、根據權利要求13所述的計算機可讀存儲介質，其中可以按
照如下項來定義所述圖像特征：
形狀：
顏色；以及
紋理。
21、根據權利要求13所述的計算機可讀存儲介質，其中標識所
述其它圖像包括在互聯網上的圖像中進行搜索。
22、根據權利要求13所述的計算機可讀存儲介質，其中標識具
有相似圖像特征的所述其它圖像包括使用概率模型。
23、根據權利要求13所述的計算機可讀存儲介質，其中在標識
所述相交關鍵字之前，該方法還包括：通過增加關鍵字的同義詞對
所述所獲取文本中的關鍵字進行擴展。
24、根據權利要求13所述的計算機可讀存儲介質，其中接收所
述圖像包括從視頻接收所述圖像。
25、一種自動注釋圖像的計算機系統，包括：
處理器；
存儲器；
接收裝置，其被配置用于接收所述圖像；
提取裝置，其被配置用于從所述圖像提取圖像特征；
標識裝置，其被配置用于標識具有相似圖像特征的其它圖像；
獲取裝置，其被配置用于獲取與所述其它圖像相關的文本；
其中所述標識裝置進一步被配置用于在與所述其它圖像相關聯
的所獲取文本中標識相交關鍵字；以及
注釋裝置，其被配置用于利用所述相交關鍵字來注釋所述圖像。
26、根據權利要求25所述的計算機系統，其中所...

【專利技術屬性】
技術研發人員：JN雅格尼克，
申請(專利權)人：谷歌公司，
類型：發明
國別省市：US[美國]