一種海量圖像檢索的隱私保護索引生成方法技術

本發明專利技術公開一種海量圖像檢索的隱私保護索引生成方法，涉及海量圖像檢索中的隱私保護問題，將隱私保護融入到圖像檢索中，本發明專利技術方法建立一種具有隱私保護的圖像索引，在保證檢索性能的同時，保護用戶隱私信息的安全。本發明專利技術首先，提取并優化尺度不變特征轉換SIFT和HSV顏色直方圖，采用局部保持投影的流形降維方法對特征進行降維，并將降維后的特征數據用于構建詞匯樹。利用詞匯樹建立倒排索引結構，本發明專利技術不僅減少了特征的個數，提高了明文域圖像檢索的速度，更優化了圖像檢索的性能。本發明專利技術在明文域檢索框架的基礎上加入隱私保護，利用二元隨機編碼和隨機投影對倒排索引進行雙重加密，實現了具有隱私保護的圖像索引。

【技術實現步驟摘要】
一種海量圖像檢索的隱私保護索引生成方法
本專利技術涉及海量圖像檢索中的隱私保護問題，將隱私保護融入到圖像檢索中，旨在建立一種具有隱私保護的圖像索引，在保證檢索性能的同時，保護用戶隱私信息的安全。
技術介紹
隨著現代信息技術的飛速發展，特別是近年來云計算、社交媒體等大規模新型應用的不斷推廣，圖像/視頻等數據量迅猛增長。作為對圖像/視頻資源進行合理利用和有效管理的重要手段，基于內容的海量圖像檢索技術(CBIR，Content-basedImageRetrieval)也因此成為目前圖像檢索領域的研究熱點。但是，現有的圖像搜索技術所關注的是如何設計有效的機制來提高檢索的性能，而往往忽略了用戶隱私信息的保護等安全性問題。實際上，在各種圖像/視頻數據中，尤其是社交網絡產生的大數據中，包含了各種各樣的用戶隱私信息，這些隱私信息的泄漏將會給用戶帶來無法估量的負面影響。存儲在服務器端的用戶隱私數據通常會受到不可信賴的管理操作或惡意入侵者的攻擊，存在著被竊取、泄漏和篡改的巨大風險。為了阻止在圖像檢索、圖像傳輸和共享過程中頻發的侵權行為，需要一種行之有效的隱私保護手段來保證圖像信息的安全性，使得用戶能夠進行安全的檢索，保證圖像隱私信息的安全性。數據加密是一種非常常用、且有效的安全保護措施。很顯然，加密雖然可以保證圖像內容的安全，但是現有的圖像檢索技術無法對加密后的圖像直接進行檢索。因此，如何設計有效的隱私保護檢索機制，在保證用戶隱私信息不泄露的情況下，準確、快速地檢索出用戶感興趣的圖像就成為目前圖像搜索技術需要重點解決的一個問題。在基于隱私保護的海量圖像檢索技術中，需要同時考慮兩個方面的因素：(1)保護圖像內容的安全性和隱私性；(2)建立面向海量圖像的、可供查詢的安全索引，既保證檢索的安全性，又滿足圖像檢索速度的需求。圖像內容的安全保護可以通過成熟的加密算法來實現，例如高級加密標準(AES，AdvancedEncryptionStandard)和RSA(Rivest，ShamirandAdleman)公鑰加密算法均可以對圖像進行加密，保護圖像內容的安全性和隱私性。本專利技術將加密技術與圖像檢索結合起來，提出了一種海量圖像檢索的隱私保護索引生成方法，該方法可以生成具有隱私保護的圖像索引，在保證檢索性能的同時，保證檢索的安全性和隱私性，滿足海量圖像檢索在安全性和速度上的需求。
技術實現思路
本專利技術的目的在于，提出了一種海量圖像檢索的隱私保護索引生成方法。首先，提取并優化SIFT(ScaleInvariantFeatureTransform)特征和HSV(Hue，SaturationandValue)直方圖，采用局部保持投影(LPP，LocalityPreservingProjections)的流形降維方法對特征進行降維后，并將降維后的特征數據用于構建詞匯樹。利用詞匯樹建立倒排索引結構，這種方法不僅減少了特征的個數，提高了明文域圖像檢索的速度，更優化了圖像檢索的性能。接下來，本專利技術在明文域檢索框架的基礎上加入隱私保護，利用二元隨機編碼和隨機投影對倒排索引進行雙重加密，實現了具有隱私保護的圖像索引。本專利技術的具體實現框架如圖1所示。本專利技術采用以下技術手段實現：一種海量圖像檢索的隱私保護索引生成方法，包括：尺度不變特征轉換SIFT和HSV顏色直方圖的提取和優化、局部保持投影LPP降維、詞匯索引構建以及隱私保護索引生成，其特征在于包括如下步驟：步驟1：SIFT特征和HSV直方圖特征的提取和優化，構建圖像特征庫；步驟1.1：提取SIFT特征；步驟1.2：對SIFT進行合理優化：對SIFT描述符集中的區域進行優化整合，以較少數量的描述符對圖像內容進行準確的表征，設定圖像中第i個SIFT描述符的橫縱坐標分別為Siftdes[i].x，Siftdes[i].y，優化閾值為Topt，優化范圍為Ropt；對于任意兩個不同的SIFT描述符Siftdes[i]與Siftdes[j]，當兩點的橫坐標和縱坐標的距離均小于優化閾值Topt時，則表示這些點存在于需要優化的范圍Ropt內，需要進行優化操作，即：將存在于Ropt內的所有特征點合并成一個特征點，以它們的均值代表該范圍內的所有特征點；如果該兩點的橫坐標距離或者縱坐標距離大于優化閾值Topt時，則表示這些點無需進行優化，優化方法如下：優化后的SIFT特征點個數明顯減少，提高檢索速度；步驟1.3：提取HSV顏色直方圖特征；步驟1.4：利用SIFT特征和HSV直方圖特征共同形成圖像特征庫；步驟2：利用LPP對圖像特征進行降維；步驟2.1：構建鄰接圖，計算圖上每個點x的k最鄰域點，計算每條邊的權重Wij，不相連的邊權重為0，否則為1，計算特征向量方法如下：XLpXTa＝λXDdiaXTa(2)其中，圖像特征X∈RD×N，N為樣本個數，每個樣本有D維特征，Ddia是對角矩陣，Dii＝∑jWji；Lp＝Ddia-W，Lp是半正定的拉普拉斯矩陣，W是由權重Wij構成的稀疏對稱矩陣；步驟2.2：依據約束條件aTXDdiaXTa＝1，計算最小化函數，方法如下：其中，前d個最小的非零特征值對應的特征向量即為投影矩陣；步驟2.3：利用投影矩陣A＝{ai}∈RD×d(d<D,ai≠0)，找到數據的低維嵌入表示，方法如下：Y＝ATX(4)其中，Y即為降維后的特征向量；步驟3：詞匯樹索引的構建；步驟3.1：隨機的選取K個初始聚類中心Ci；步驟3.2：使用分層K-means，計算聚類中心Ci與每個特征點的距離，并把與聚類中心距離最小的點歸到以Ci為聚類中心的類中；步驟3.3：重新計算每個聚類中心Ci；步驟3.4：計算判斷聚類中心Ci與所屬以Ci為聚類中心的類的特征點之間的距離是否滿足收斂閾值，如果不滿足，則重復步驟2、步驟3，直到滿足收斂閾值且聚類中心不再發生變化；步驟3.5：繼續對聚類得到的K個簇集利用K-means算法聚類，再分成K個簇集，重復步驟3.1-步驟3.4，直至達到詞匯樹的高度L時，停止聚類，形成特征詞匯樹，其中K＝10，L＝3；步驟3.6：統計每個特征點的詞頻-倒排文件頻率TF-IDF加權，其中TF表示的是詞頻，詞匯樹中的節點i，對每一個視覺單詞Ci，查詢圖像和數據庫中圖像通過節點i的特征數分別為qi和di，IDF計算方法如下：其中，N是圖像庫的圖像總數，Ni是包含節點i的圖像的數量，查詢圖像的索引向量為Qi＝qiwi，數據庫中圖像的索引向量表示為Di＝diwi；步驟4：隱私保護索引的生成；步驟4.1：將數據庫的索引F＝{fi}放大1,000,000倍，四舍五入成為整數，找到最大的整數，將倒排索引利用二進制數表示，方法如下：其中fimax為最大的整數索引，Digmax為二進制的最大位數；步驟4.2：將所有整數形式的索引表示為二進制數，將位數不足Digmax的二進制數前補零，方法如下：其中Digi表示的是b(fi)的二進制位數；步驟4.3：將所有整數依次提取b(fi)的n個bit位，將b(fi)重新排列為新的向量，方法如下：b(fi)＝[b(fi1),b(fi2),...,b(fim)](9)其中m＝Digmax/n，經過二元隨機編碼的倒排索引表示為其中N是圖像的數量，dnew是經過二元隨機編碼后，新索引的維本文檔來自技高網...

【技術保護點】
一種海量圖像檢索的隱私保護索引生成方法，包括：尺度不變特征轉換SIFT和HSV顏色直方圖的提取和優化、局部保持投影LPP降維、詞匯索引構建以及隱私保護索引生成，其特征在于包括如下步驟：步驟1：SIFT特征和HSV直方圖特征的提取和優化，構建圖像特征庫；步驟1.1：提取SIFT特征；步驟1.2：對SIFT進行合理優化：對SIFT描述符集中的區域進行優化整合，以較少數量的描述符對圖像內容進行準確的表征，設定圖像中第i個SIFT描述符的橫縱坐標分別為Siftdes[i].x，Siftdes[i].y，優化閾值為Topt，優化范圍為Ropt；對于任意兩個不同的SIFT描述符Siftdes[i]與Siftdes[j]，當兩點的橫坐標和縱坐標的距離均小于優化閾值Topt時，則表示這些點存在于需要優化的范圍Ropt內，需要進行優化操作，即：將存在于Ropt內的所有特征點合并成一個特征點，以它們的均值代表該范圍內的所有特征點；如果該兩點的橫坐標距離或者縱坐標距離大于優化閾值Topt時，則表示這些點無需進行優化，優化方法如下：優化后的SIFT特征點個數明顯減少，提高檢索速度；步驟1.3：提取HSV顏色直方圖特征；步驟1.4：利用SIFT特征和HSV直方圖特征共同形成圖像特征庫；步驟2：利用LPP對圖像特征進行降維；步驟2.1：構建鄰接圖，計算圖上每個點x的k最鄰域點，計算每條邊的權重Wij，不相連的邊權重為0，否則為1，計算特征向量方法如下：XLpXTa＝λXDdiaXTa其中，圖像特征X∈RD×N，N為樣本個數，每個樣本有D維特征，Ddia是對角矩陣，Dii＝∑jWji；Lp＝Ddia?W，Lp是半正定的拉普拉斯矩陣，W是由權重Wij構成的稀疏對稱矩陣；步驟2.2：依據約束條件aTXDdiaXTa＝1，計算最小化函數，方法如下：argmina=aTXLpXTa]]>其中，前d個最小的非零特征值對應的特征向量即為投影矩陣；步驟2.3：利用投影矩陣A＝{ai}∈RD×d(d<D,ai≠0)，找到數據的低維嵌入表示，方法如下：Y＝ATX其中，Y即為降維后的特征向量；步驟3：詞匯樹索引的構建；步驟3.1：隨機的選取K個初始聚類中心Ci；步驟3.2：使用分層K?means，計算聚類中心Ci與每個特征點的距離，并把與聚類中心距離最小的點歸到該類中；步驟3.3：重新計算每個聚類中心Ci；步驟3.4：計算判斷聚類中心Ci與所屬該類的特征點之間的距離是否滿足收斂閾值，如果不滿足，則重復步驟2、步驟3，直到滿足收斂閾值且聚類中心不再發生變化；步驟3.5：繼續對聚類得到的K個簇集利用K?means算法聚類，再分成K個簇集，重復步驟3.1?步驟3.4，直至達到詞匯樹的高度L時，停止聚類，形成特征詞匯樹，其中K＝10，L＝3；步驟3.6：統計每個特征點的詞頻?倒排文件頻率TF?IDF加權，其中TF表示的是詞頻，詞匯樹中的節點i，對每一個視覺單詞Ci，查詢圖像和數據庫中圖像通過節點i的特征數分別為qi和di，IDF計算方法如下：IDF=logNNi=ωi]]>其中，N是圖像庫的圖像總數，Ni是包含節點i的圖像的數量，查詢圖像的索引向量為Qi＝qiwi，數據庫中圖像的索引向量表示為Di＝diwi；步驟4：隱私保護索引的生成；步驟4.1：將數據庫的索引F＝{fi}放大1,000,000倍，四舍五入成為整數，找到最大的整數，將該倒排索引利用二進制數表示，方法如下：其中fimax為最大的整數索引，Digmax為二進制的最大位數；步驟4.2：將所有整數形式的索引表示為二進制數，將位數不足Digmax的二進制數前補零，方法如下：其中Digi表示的是b(fi)的二進制位數；步驟4.3：將所有整數依次提取b(fi)的n個bit位，將b(fi)重新排列為新的向量，方法如下：b(fi)＝[b(fi1),b(fi2),...,b(fim)]其中m＝Digmax/n，經過二元隨機編碼的倒排索引可以表示為其中N是圖像的數量，dnew是經過二元隨機編碼后，新索引的維度；步驟4.4：使用高斯隨機投影矩陣進行隨機投影，其中dnew是原始維度，d'是降維后的維度，加密函數可以定義為：ε(b(F))＝b(F)·G'；步驟4.5：圖像的索引完成隨機投影之后，利用L1范數對加密索引的距離進行度量，方法如下：dϵ(Similar)=dϵ(ϵ(b(fi)i≠j,b(fj)))=||ϵ(b(fi))-ϵ(b(fj))||1]]>步驟4.6：對相似性結果進行排序，將最終將前k幅圖像返回顯示給用戶，方法如下：dε(Similar)＝αdε(SimSIFT)+βdε(SimHSV)其中α，β分別為SIFT特征詞匯樹和HSV直方...

【技術特征摘要】
1.一種海量圖像檢索的隱私保護索引生成方法，包括：尺度不變特征轉換SIFT和HSV顏色直方圖的提取和優化、局部保持投影LPP降維、詞匯索引構建以及隱私保護索引生成，其特征在于包括如下步驟：步驟1：SIFT特征和HSV直方圖特征的提取和優化，構建圖像特征庫；步驟1.1：提取SIFT特征；步驟1.2：對SIFT進行合理優化：對SIFT描述符集中的區域進行優化整合，以較少數量的描述符對圖像內容進行準確的表征，設定圖像中第i個SIFT描述符的橫縱坐標分別為Siftdes[i].x，Siftdes[i].y，優化閾值為Topt，優化范圍為Ropt；對于任意兩個不同的SIFT描述符Siftdes[i]與Siftdes[j]，當兩點的橫坐標和縱坐標的距離均小于優化閾值Topt時，則表示這些點存在于需要優化的范圍Ropt內，需要進行優化操作，即：將存在于Ropt內的所有特征點合并成一個特征點，以它們的均值代表該范圍內的所有特征點；如果該兩點的橫坐標距離或者縱坐標距離大于優化閾值Topt時，則表示這些點無需進行優化，優化方法如下：優化后的SIFT特征點個數明顯減少，提高檢索速度；步驟1.3：提取HSV顏色直方圖特征；步驟1.4：利用SIFT特征和HSV直方圖特征共同形成圖像特征庫；步驟2：利用LPP對圖像特征進行降維；步驟2.1：構建鄰接圖，計算圖上每個點x的k最鄰域點，計算每條邊的權重Wij，不相連的邊權重為0，否則為1，計算特征向量方法如下：XLpXTa＝λXDdiaXTa其中，圖像特征X∈RD×N，N為樣本個數，每個樣本有D維特征，Ddia是對角矩陣，Dii＝∑jWji；Lp＝Ddia-W，Lp是半正定的拉普拉斯矩陣，W是由權重Wij構成的稀疏對稱矩陣；步驟2.2：依據約束條件aTXDdiaXTa＝1，計算最小化函數，方法如下：其中，前d個最小的非零特征值對應的特征向量即為投影矩陣；步驟2.3：利用投影矩陣A＝{ai}∈RD×d(d<D,ai≠0)，找到數據的低維嵌入表示，方法如下：Y＝ATX其中，Y即為降維后的特征向量；步驟3：詞匯樹索引的構建；步驟3.1：隨機的選取K個初始聚類中心Ci；步驟3.2：使用分層K-means，計算聚類中心Ci與每個特征點的距離，并把與聚類中心距離最小的點歸到以Ci為聚類中心的類中；步驟3.3：重新計算每個聚類中心Ci；步驟3.4：計算判斷聚類中心Ci與所屬以Ci為聚類中心的類的特征點之間的距離是否滿足...

【專利技術屬性】
技術研發人員：卓力，成博，白宇，彭遠帆，張燕，張菁，
申請(專利權)人：北京工業大學，
類型：發明
國別省市：北京;11