一種基于卷積神經網絡的肺結節圖像塊檢索方法及裝置制造方法及圖紙

本發明專利技術涉及一種基于卷積神經網絡的肺結節圖像塊檢索方法及裝置，通過對獲取的肺結節圖像塊進行切片處理，得到至少兩張肺結節切片掃描圖，通過構造卷積神經網絡提取肺結節切片掃描圖的圖像特征，得到肺結節的局部特征集合，獲取數據庫中所有肺結節的局部特征集合，對所有肺結節的局部特征集合進行聚類構建視覺詞典，基于視覺詞典獲取肺結節帶權特征向量，通過倒排索引的方式對肺結節帶權特征向量構建索引庫，根據輸入的查詢信息對索引庫執行檢索，得到符合查詢條件的肺結節圖像塊。本發明專利技術能夠快速、準確的檢索出與待檢索肺結節最相似的肺結節圖像序列。

Method and device for retrieving lung nodule image block based on convolution neural network

The invention relates to a convolutional neural network block of pulmonary nodule image retrieval method and apparatus based on the pulmonary nodule image acquisition block section processing, get at least two pulmonary nodules section scanning, by constructing a convolutional neural network image feature extraction of lung nodule slice scan, to obtain local features of pulmonary nodules set. A collection of local features to obtain all pulmonary nodules in the database, the local feature of all pulmonary nodules set by clustering visual dictionary construction, visual Lexicon Acquisition pulmonary nodules weighted feature vector based on the inverted index of pulmonary nodules with the right to construct index database according to the input feature vector, the query information retrieval on the index repository. Get the pulmonary nodule image block query. The invention can quickly and accurately retrieve the image sequence of the pulmonary nodule which is the most similar to the pulmonary nodule to be retrieved.

【技術實現步驟摘要】
一種基于卷積神經網絡的肺結節圖像塊檢索方法及裝置
本專利技術涉及醫學圖像處理
，尤其涉及一種基于卷積神經網絡的肺結節圖像塊檢索方法及裝置。
技術介紹
肺部結節是臨床上常見的一種疾病，是胸外科常見的又較難難確診的疾病,早期及時發現是提高患者生存率的關鍵，隨著影像學尤其是螺旋CT的發展和日益完善普及，肺部微小結節性病變的發現率明顯提高，但是對肺部微小結節性病變的定性診斷仍較困難。在此背景下，醫療檢索系統的作用就凸顯出來了，醫療檢索系統利用肺結節圖像信息進行檢索，從而匹配同類型的肺結節圖像，參考以往的專家診療數據，為臨床提供更多的診斷信息和依據。與本專利技術相關的現有技術：圖像檢索技術由早期的基于文本的圖像檢索逐漸發展為基于內容的圖像檢索，其主要思想是通過提取圖像視覺底層特征來實現圖像內容表達，檢索方法主要基于圖像的多維特征進行相似性查詢。其中，目前常用于描述圖像的特征主要有SIFT、LBP、Gabor、BOW和CNN特征等。其中SIFT特征是最常用的矢量特征，它對圖像的光照、尺度、位移等變化都具有較好的容忍性。然而該特征計算量較大，緯度較高，計算較復雜。BOW特征也是圖像檢索領域中廣泛使用的特征，每幅圖像都可以描述為一個局部區域特征的無序集合。使用聚類方法將局部特征進行聚類，每個聚類中心被看作是視覺詞典中的一個詞匯，視覺詞匯由聚類中心對應特征形成碼字來表示。圖像中的每個特征都將被映射到視覺詞典的某個詞上，這種映射可以通過計算特征間的距離去實現，然后統計每個視覺詞的出現次數，從而得到每個圖像的直方圖向量，即BOW特征。CNN特征，是通過自主學習訓練數據的特征，避免人工設計特征，近幾年，在圖像分類、檢測、分割等學習任務上都得到了驚人的表現，可以看出，CNN特征更能表達圖像深層的特征。現有相似技術：一種基于相似度的乳腺圖像檢索方法，該方法通過提取乳腺圖像的SIFT特征和HOG特征建立圖像特征庫，結合分層聚類樹，通過比對待檢索圖像與數據庫中圖像特征的相似度進行檢索。該方法采取傳統的人工設計特征SIFT和HOG特征提取圖像底層特征，表達能力不強，檢索準確率有待進一步提高。
技術實現思路
本專利技術所要解決的技術問題是：現有的技術大多是采用人工設計特征提取圖像的底層特征描述，從而導致表達能力不強、檢索精度低；其次現有技術采用單個圖像的內容檢索，沒有將圖像的立體深層信息結合起來。從而提供了一種基于卷積神經網絡的肺結節圖像塊檢索方法及裝置。本專利技術解決上述技術問題的技術方案如下：一種基于卷積神經網絡的肺結節圖像塊檢索方法，包括：步驟1：獲取肺結節圖像塊；步驟2：對肺結節圖像塊進行切片處理，得到至少兩張肺結節切片掃描圖；步驟3：通過構造卷積神經網絡提取肺結節切片掃描圖的圖像特征；步驟4：將任意一張肺結節切片掃描圖的圖像特征作為肺結節的一個局部特征，得到肺結節的局部特征集合；步驟5：重復步驟1-4，獲取數據庫中所有肺結節的局部特征集合；步驟6：對所有肺結節的局部特征集合進行聚類、構建視覺詞典；步驟7：基于視覺詞典獲取肺結節帶權特征向量，通過倒排索引的方式對肺結節帶權特征向量構建索引庫；步驟8：根據輸入的查詢信息對索引庫執行檢索，得到符合查詢條件的肺結節圖像塊。本專利技術的有益效果是：本專利技術利用卷積神經網絡模型，能夠對整個肺結節腫瘤塊進行分析，挖掘肺結節切片CT圖像序列的深層特征，結合倒排索引技術，構建肺結節的圖像特征庫，檢索時，能夠快速、準確的檢索出與待檢索肺結節最相似的肺結節圖像序列，從而為專家確診肺結節病變提供更加可靠準確的判斷依據。在上述技術方案的基礎上，本專利技術還可以做如下改進。進一步地，所述步驟1包括：從圖像數據庫中，獲取大小為64*64*64像素的肺結節圖像塊。進一步地，所述步驟2包括：步驟2.1：肺結節圖像塊的幾何中心對應肺結節的中心位置；步驟2.2：通過切片處理得到64張大小為64*64像素的肺結節切片掃描圖，且對肺結節切片掃描圖進行灰度化處理。采用上述進一步方案的有益效果是卷積神經網絡通過64*64的像素肺結節切片掃描圖所提取的圖像特征在準確度和復雜度的平衡中達到最佳效果，在復雜度不高的情況下，準確度達到極高水平，灰度化處理有利于圖像特征的提取。進一步地，所述步驟3中，構造卷積神經網絡包括卷積層、池化層及全連接層，卷積神經網絡的卷積層采用線性修正單元激活函數，通過公式y＝max(0,∑xi*wi+b)計算得到，其中，xi表示上一層的特征圖，wi和b代表可以學習的網絡參數；卷積神經網絡的池化層采用最大池化，區域大小為2*2，步長為2；卷積神經網絡的全連接層采用全連接結構，輸出得到64*256維的圖像特征。采用上述進一步方案的有益效果是通過輸出高維特征來準確描述肺結節切片掃描圖的圖像特征，準確度高。進一步地，所述步驟6包括：步驟6.1：結合直方圖向量的方式對所有肺結節的局部特征集合采用K-means聚類的方式進行聚類，生成關鍵特征；步驟6.2：由生成的關鍵特征組成視覺詞典。采用上述進一步方案的有益效果是通過對關鍵特征生成的視覺詞典，映射對應前面提取的切片掃描圖的圖像特征。進一步地，所述步驟7包括：步驟7.1：對每個肺結節，依次將特征向量分別分配給最近鄰的關鍵特征，表示關鍵特征的頻數；步驟7.2：基于視覺詞典，對每個肺結節生成一個頻率特征向量；步驟7.3：統計出每個關鍵特征出現的圖像數，得到關鍵特征的IDF值，作為關鍵特征的權重；步驟7.4：將每個肺結節得到的頻率特征向量的每個分量乘以對應的關鍵特征權重，得到帶權特征向量；步驟7.5：采用倒排索引的方式對得到的帶權特征向量構建索引庫。進一步地，所述步驟8包括：步驟8.1：根據輸入的查詢信息，在該患者的全肺CT掃描圖像序列中，截取大小為64*64*64像素的肺結節的圖像塊；步驟8.2：提取該肺結節的圖像序列的特征，得到肺結節局部特征集合，再對應到所述視覺詞典中，得到帶權特征向量；步驟8.3：通過計算查詢肺結節與數據庫中所有的肺結節的帶權特征向量之間的距離來度量對應圖像之間的相似性；步驟8.4：按照相似性從高到低的順序進行排序，得到符合查詢條件的肺結節圖像塊。采用上述進一步方案的有益效果是通過肺結節帶權特征向量之間的對比來判斷肺結節的相似性，是的檢索過程更加準確與快速。進一步地，步驟3中，所述卷積神經網絡還包括輸出層，所述卷積神經網絡的網絡參數通過訓練得到，經過學習得到卷積層和全連接層的卷積核參數，采用隨機數對所述卷積核參數進行初始化，所述輸出層采用softmax損失函數進行訓練。本專利技術提供的另一種技術方案如下：一種基于卷積神經網絡的肺結節圖像塊檢索裝置，包括：切片處理模塊、特征提取模塊、特征集合生成模塊、視覺詞典生成模塊、索引庫構建模塊和檢索模塊；所述切片處理模塊用于對獲取的肺結節圖像塊進行切片處理，得到至少兩張肺結節切片掃描圖；所述特征提取模塊用于通過構造卷積神經網絡提取肺結節切片掃描圖的圖像特征；所述特征集合生成模塊用于將任意一張肺結節切片掃描圖的圖像特征作為肺結節的一個局部特征，得到肺結節的局部特征集合、并獲取數據庫中所有肺結節的局部特征集合；所述視覺詞典生成模塊用于結合直方向量圖的方式對所有肺結節的局部特征集合進行聚類構建視覺詞典；所述索引庫構建模塊用于基于視覺本文檔來自技高網...

【技術保護點】
一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，包括以下步驟：步驟1：獲取肺結節圖像塊；步驟2：對肺結節圖像塊進行切片處理，得到至少兩張肺結節切片掃描圖；步驟3：通過構造卷積神經網絡提取肺結節切片掃描圖的圖像特征；步驟4：將任意一張肺結節切片掃描圖的圖像特征作為肺結節的一個局部特征，得到肺結節的局部特征集合；步驟5：重復步驟1?4，獲取數據庫中所有肺結節的局部特征集合；步驟6：對所有肺結節的局部特征集合進行聚類、構建視覺詞典；步驟7：基于視覺詞典獲取肺結節帶權特征向量，通過倒排索引的方式對肺結節帶權特征向量構建索引庫；步驟8：根據輸入的查詢信息對索引庫執行檢索，得到符合查詢條件的肺結節圖像塊。

【技術特征摘要】
1.一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，包括以下步驟：步驟1：獲取肺結節圖像塊；步驟2：對肺結節圖像塊進行切片處理，得到至少兩張肺結節切片掃描圖；步驟3：通過構造卷積神經網絡提取肺結節切片掃描圖的圖像特征；步驟4：將任意一張肺結節切片掃描圖的圖像特征作為肺結節的一個局部特征，得到肺結節的局部特征集合；步驟5：重復步驟1-4，獲取數據庫中所有肺結節的局部特征集合；步驟6：對所有肺結節的局部特征集合進行聚類、構建視覺詞典；步驟7：基于視覺詞典獲取肺結節帶權特征向量，通過倒排索引的方式對肺結節帶權特征向量構建索引庫；步驟8：根據輸入的查詢信息對索引庫執行檢索，得到符合查詢條件的肺結節圖像塊。2.根據權利要求1所述的一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，所述步驟1包括：從圖像數據庫中，獲取大小為64*64*64像素的肺結節圖像塊。3.根據權利要求2所述的一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，所述步驟2包括：步驟2.1：肺結節圖像塊的幾何中心對應肺結節的中心位置；步驟2.2：通過切片處理得到64張大小為64*64像素的肺結節切片掃描圖，且對肺結節切片掃描圖進行灰度化處理。4.根據權利要求1所述的一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，所述步驟3中，構造卷積神經網絡包括卷積層、池化層及全連接層，卷積神經網絡的卷積層采用線性修正單元激活函數，通過公式y＝max(0,∑xi*wi+b)計算得到，其中，xi表示上一層的特征圖，wi和b代表可以學習的網絡參數；卷積神經網絡的池化層采用最大池化，區域大小為2*2，步長為2；卷積神經網絡的全連接層采用全連接結構，輸出得到64*256維的圖像特征。5.根據權利要求1所述的一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，所述步驟6包括：步驟6.1：結合直方圖向量的方式對所有肺結節的局部特征集合采用K-means聚類的方式進行聚類，生成關鍵特征；步驟6.2：由生成的關鍵特征組成視覺詞典。6.根據權利要求1所述的一種基于卷積神經網絡的肺結節圖像塊檢索方法，其特征在于，所述步驟7包括：步驟7.1：對每個肺結節，依次將特征向量分別分配給最近鄰的關鍵特征，表示關鍵特征的頻數；步驟7.2：基于視覺詞典，對每個肺結節生成一個頻率特征向量；步驟7.3：統計出每個關鍵特征出現的圖像數，得到關鍵特征的IDF值，作為關鍵特征的權重；步驟7.4：將每個肺結節得到的頻率特征向量的每個分量乘以對應的關鍵特征權重，得到帶權特征向量；步驟7.5：采用倒排索引...

【專利技術屬性】
技術研發人員：王海洋，廖華明，盛玉嬌，劉衍琦，程學旗，劉瑋，
申請(專利權)人：煙臺中科網絡技術研究所，中國科學院計算技術研究所，
類型：發明
國別省市：山東,37