一種基于子空間混合超圖學習的交叉模態檢索方法技術

一種基于子空間混合超圖學習的交叉模態檢索方法，基于典型相關性分析的交叉模態公共子空間學習；通過公共子空間的映射來計算模態內部和模態之間的相似度；通過不同模態內部和模態之間的相似度計算混合關系矩陣；通過對關系矩陣的提煉構建混合超圖模型；最后采用超圖學習進行交叉模態檢索和樣例排序。本發明專利技術實例針對交叉模態的異構差異性，以及樣本之間的高階關系，將超圖模型結合交叉模態公共子空間學習，應用到交叉模態檢索中，使模型能夠同時考慮模態間的相似度和模態內部的相似度，同時兼顧多個樣本之間的高階關系，提高最終的交叉模態檢索的查準率和查全率。本發明專利技術有效地提高了交叉模態檢索的性能，能大大提高交叉模態檢索的準確率和召回率。

A cross modal retrieval algorithm based on subspace mixed hypergraph learning

A cross modal subspace search algorithm based on mixed hypergraph learning, learning public cross modal subspace correlation analysis based on the mapping of public space; to calculate the similarity between internal modal and modal; through the similarity between different modal and modal calculation of internal mixing relation matrix; based on refinement relation matrix to construct a hybrid hypergraph model; finally using hypergraph learning cross modal retrieval and sample sort. According to the difference of heterogeneous cross modal of the examples, and between samples of high order, the hypergraph model combined with cross modal subspace learning is applied to the public, cross modal retrieval, the model can also consider the inter modal similarity and modal similarity, taking into account the higher-order relationships between multiple samples, improve cross modal final retrieval precision and recall. The invention effectively improves the performance of cross modal retrieval, and greatly improves the accuracy and recall rate of cross modal retrieval.

【技術實現步驟摘要】
一種基于子空間混合超圖學習的交叉模態檢索算法
本專利技術屬于計算機
，具體涉及一種基于子空間混合超圖學習的交叉模態檢索算法。
技術介紹
當前，多模態檢索問題已經吸引了大量學者的關注。由于在互聯網中存在著大量的多媒體數據，如圖像、文本、視頻等等，也就因此對于一個目標的語義描述提供了多種多樣的表達方式。例如對于貓的描述形式可以包含：一段關于貓的描述的文字，一段貓的錄制視頻，一段貓叫聲的錄音，或者是一些關于貓的照片。而多模態檢索問題就是針對這種多模態之間的交叉檢索，即用圖片去檢索相關的文本，或者用文本去檢索相關的圖片。針對兩種模態之間的檢索，稱之為交叉模態檢索。然而由于不同語義表現形式內在的異構性差異，如何去度量不同語義表現形式之間的相似度依然是一個極具挑戰的科研課題。不僅如此，當前的方法基本上是以對于對之間的關系為基礎，考慮交叉模態檢索的，即衡量樣本之間的關系都是考慮兩兩之間的關系，如何利用超過兩個之間的關系即高階關系，提高交叉模態檢索依然是一個空白的研究點。近些年，一大批研究工作主要集中在消除不同模態之間的異構差異性。這些工作主要可以被分成兩大類：基于子空間學習的方法和交叉模態哈希方法。子空間學習方法試圖通過學習一個隱含的公共子空間，使不同模態都能夠被投影到公共子空間，在子空間中由于模態的維度相同，因此能夠消除不同模態之間的異構差異性，并且他們之間的相似度能夠直接度量。子空間學習方法又可以分成有監督的和無監督的。無監督方法，例如典型相關性分析(CCA)，最小二乘(PLS)以及局部保留投影等方法直接將原始空間的數據映射到公共子空間中，并且不同模態之間的關系最大化。而有監督方法則是通過利用標簽信息，是具有相同標簽的不同模態數據在子空間中盡量靠近，反之則遠離。有監督的子空間學習方法，能夠在一定程度上優于無監督的方法，然而標簽信息的獲取是一項代價昂貴的活動，因此近些年半監督的方法也有學者研究并提出。交叉模態哈希結合了多模態分析和哈希技術，通過投影不同模態的數據進入一個統一的哈?？臻g。在哈希空間中，不同模態的數據用哈希編碼表示，降低了數據處理的空間復雜度和存儲開銷。并且哈希編碼之間的相似度能夠通過漢明距離直接計算，降低了相似度計算的時間復雜度。然而不管是基于交叉模態哈希的方法還是子空間學習的方法，它們大多數在衡量樣本之間的關系時，僅僅考慮了兩兩之間的關系，而忽視了更多樣本之間的高階關系。為了獲取更多樣本之間的高階關系，超圖學習已經被廣泛應用于聚類、分類和信息檢索領域。超圖和普通圖之間的區別在于：超圖一條邊能夠連接兩個以上數量的節點，而普通圖的邊僅僅連接兩個頂點。正因為如此，通過超圖能夠將樣本之間的高階關系嵌入在超圖的邊中。通過已有的一些工作，我們發現超圖有利于研究多個樣本之間的高階關系，而不僅僅是兩兩之間的關系。例如普通圖通過一條邊的權重能夠度量兩個點之間的相似度，而超圖通過超邊能夠度量3個或者更多節點之前的相似性，這就為交叉模態檢索提供了研究樣本之間高階關系的可能性。因此本專利技術利用超圖來研究樣本之間的高階關系，專利技術一種基于子空間混合超圖學習的交叉模態檢索算法。消除異構模態之間的差異性，同時考慮模態內部和模態之間的相似度關系，計算混合相似度關系矩陣，以此構建混合超圖模型，進而能夠通過超圖學習進行交叉模態的檢索和結果排序。
技術實現思路
隨著互聯網中多模態數據量的逐漸增多，多模態檢索成為越來越重要的多媒體應用。本專利技術針對兩個模態之間的交叉檢索，探究一種基于子空間混合超圖學習的交叉模態檢索算法，試圖通過子空間學習，消除不同模態之間的異構差異性，通過考慮模態內部和模態之間的相似度關系，構建混合超圖模型，通過超圖學習進行交叉模態檢索，提高交叉模態檢索的準確率和召回率。算法包括以下步驟：步驟1：基于典型相關性分析的公共子空間學習；步驟2：計算模態內部和模態間相似度；步驟3：計算混合鄰接矩陣；步驟4：構建超圖；步驟5：基于超圖學習的交叉模態檢索、重排序。附圖說明圖1是基于子空間混合超圖學習的交叉模態檢索算法(CHLS)流程圖。圖2(a)是Wiki數據集上圖片檢索準確率對比圖。圖2(b)是Wiki數據集上文本檢索準確率對比圖。圖2(c)是Wiki數據集上圖片檢索召回率對比圖。圖2(d)是Wiki數據集上文本檢索召回率對比圖。圖3(a)是MIRFlickr數據集上圖片檢索準確率對比圖。圖3(b)是MIRFlickr數據集上文本檢索準確率對比圖。圖3(c)是MIRFlickr數據集上圖片檢索召回率對比圖。圖3(d)是MIRFlickr數據集上文本檢索召回率對比圖。具體實施方式下面結合附圖和技術方案，進一步說明本專利技術的具體實施方式。圖1為基于子空間混合超圖學習的交叉模態檢索算法的流程圖。本專利技術以文本和圖片兩種模態作為交叉模態檢索的樣本。首先需要對不同模態進行特征提取，對于文本數據采用隱含狄利克雷分布(LDA)進行特征提取，對于圖片模態，采用卷及神經網絡(CNN)進行特征學習。獲得兩種模態的各自特征表示之后，下一步就是采用典型相關性分析進行公共子空間學習，將原始圖片和文本模態映射到同一個維度空間下，使其之間的相似度能夠直接度量，消除不同模態之間的異構差異性。在子空間中能夠進行相似度的直接度量，通過計算模態內部和模態之間的相似度，構建混合關系矩陣，進而構建一個混合超圖。最后通過混合超圖學習進行交叉模態檢索。一種基于子空間混合超圖學習的交叉模態檢索算法，步驟如下：步驟1、基于典型相關性分析的公共子空間學習；步驟2、計算模態內部和模態間相似度；步驟3、計算混合鄰接矩陣；步驟4、構建超圖；步驟5、基于超圖學習的交叉模態檢索、重排序。步驟1、基于典型相關性分析的公共子空間學習；在多媒體數據中，一個目標物體通常能有多種表現形式，如圖像、文本、視頻等，構成了多媒體的多模態數據表示。多模態數據如圖像和文本由于存在著異構差異性，盡管表示的語義可能相似，但是圖像和文本間由于這種異構差異性，圖像和文本之間的相似度則不能直接度量，給交叉模態檢索帶來了挑戰。為此需要將圖像和文本這兩種模態數據通過一定的方式，映射到相同維度的公共子空間下，方便相似度度量。本專利利用典型相關性分析(CanonicalCorrelationAnalysis，CCA)來學習多模態的公共子空間。給定圖像和文本的樣本集d1≠d2，對于xi和yi，CCA通過最大化相關系數進行投影矩陣的學習。子空間投影數據可以表示為其中最大化關系表示如公式(1)：其中，Σxx和Σyy是單模態內部協方差矩陣，Σxy＝Σyx是模態間的協方差矩陣，Wx,Wy投影矩陣。最終的目標函數表示如公式(2)，通過優化公式(2)就能夠獲得投影矩陣，便能夠將原始空間的多模態數據映射到公共子空間中，進行相似度度量。對于交叉模態數據集中的每一對樣本在子空間中的投影可以表示為令子空間表示數據將用于后續的步驟進行混合超圖學習和交叉模態檢索重排序等步驟。通過子空間的學習，成功將異構的多模態數據映射到了同一子空間想下，消除了異構差異性，同時CCA最大化保留了交叉模態樣本對之間的關聯性，能夠很好的應用于交叉模態檢索。步驟2、計算模態內部和模態間相似度；本專利利用超圖學習多模態樣本之間的相關性，構建超圖的首要步驟就是尋找合適的點構成本文檔來自技高網...

【技術保護點】
一種基于子空間混合超圖學習的交叉模態檢索算法，其特征在于，步驟如下：步驟1、基于典型相關性分析的公共子空間學習在多媒體數據中，一個目標物體的多種表現形式構成多媒體的多模態數據表示；多模態數據圖像和文本間由于存在著異構差異性，因此，二者的相似度不能直接度量；為方便圖像和文本的相似度度量，將圖像和文本映射到相同維度的公共子空間下，交叉模態檢索算法利用典型相關性分析CCA來學習多模態數據的公共子空間；令

【技術特征摘要】
1.一種基于子空間混合超圖學習的交叉模態檢索算法，其特征在于，步驟如下：步驟1、基于典型相關性分析的公共子空間學習在多媒體數據中，一個目標物體的多種表現形式構成多媒體的多模態數據表示；多模態數據圖像和文本間由于存在著異構差異性，因此，二者的相似度不能直接度量；為方便圖像和文本的相似度度量，將圖像和文本映射到相同維度的公共子空間下，交叉模態檢索算法利用典型相關性分析CCA來學習多模態數據的公共子空間；令表示圖像和文本的集合，表示圖像特征，表示文本特征，通常由于兩種數據類型之間的異構差異性，會使d1≠d2；對于一個文本和圖像對，即xi和yi，CCA通過最大化相關系數進行投影矩陣的學習；公共子空間投影數據表示為和其中最大化關系表示如公式(1)：其中，Σxx和Σyy分別是圖像和文本單模態內部協方差矩陣，Σxy＝Σyx是圖像和文本模態間的協方差矩陣，Wx,Wy分別是圖像和文本的投影矩陣；最終的目標函數表示如公式(2)，通過優化公式(2)獲得投影矩陣，便將原始空間的多模態數據映射到公共子空間中，進行相似度度量；因此對于交叉模態數據集中的每一對圖像和文本在公共子空間中的投影表示為其中一個圖像經過CCA投影之后的特征表示為文本的特征表示為如此兩種模態數據的特征就處在同一空間下，并且維度相同，進行距離的度量；為了方便區分，給投影之后的數據重新命名，令用表示在子空間中的圖像和文本特征，他們將被用于混合超圖學習以及交叉模態檢索；通過公共子空間的學習，將異構的多模態數據映射到同一公共子空間下，消除了異構差異性，同時CCA最大化保留了交叉模態樣本對之間的關聯性，很好的應用于交叉模態檢索；步驟2、計算模態內部和模態間相似度本交叉模態檢索算法利用超圖學習多模態樣本之間的相關性，構建超圖的首要步驟就是尋找合適的點構成超邊；首先計算樣本相似度，然后利用相似度矩陣獲得樣本的k個最近的鄰居構成超邊；然而當前已有的跨模態檢索方法通常只考慮模態間的相似度，忽略了模態內部的相似度，因此本交叉模態檢索算法額外考慮了模態內部相似度，通過模態內部的鄰居分布信息，補充完善樣本的關聯性度量，從而提高跨模態檢索準確率；1)模態內部相似度通過構建圖片模態內部相似度，與直接通過跨模態返回的圖片相似度高的圖片也作為檢索結果返回；將公共子空間下的多模態數據樣本看成一個頂點，即將x′i當做頂點vi，那么模態x′內部數據x′i和x′j之間的相似度Sxx(i,j)可以表示為公式(3)：其中，σ是所有頂點間距離的中值；對于模態y′內部的相似度計算也是如此；2)模態間相似度模態間的相似度，通過公共子空間學習后，被映射到公共子空間中的兩個模態之間的相似度矩陣計算公式與公式(3)相同...

【專利技術屬性】
技術研發人員：陳志奎，鐘芳明，鐘華，魯飛，
申請(專利權)人：大連理工大學，
類型：發明
國別省市：遼寧,21