一種圖像實時配準(zhǔn)方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種圖像實時配準(zhǔn)方法及系統(tǒng)。所述方法，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)；(2)輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。所述系統(tǒng)包括：圖像采集模塊、以及配準(zhǔn)。本發(fā)明專利技術(shù)將深度學(xué)習(xí)引入到2D?3D配準(zhǔn)的問題中，將2D與3D的對應(yīng)關(guān)系表達(dá)為一個深度卷積神經(jīng)網(wǎng)絡(luò)，從理論上探索一種解決窮舉計算問題的策略，以達(dá)到實時配準(zhǔn)的目的。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)屬于圖像配準(zhǔn)領(lǐng)域，更具體地，涉及一種醫(yī)學(xué)圖像實時配準(zhǔn)方法及系統(tǒng)。
技術(shù)介紹
圖像配準(zhǔn)廣泛應(yīng)用于臨床醫(yī)學(xué)、航空遙感、公安刑偵等領(lǐng)域，圍繞該問題展開了大量而深入的研究。醫(yī)學(xué)圖像中有大量的2D-3D圖像配準(zhǔn)的問題，現(xiàn)行的2D-3D配準(zhǔn)方法基本可描述為：從不同的角度和位置獲得3D數(shù)據(jù)的切面圖，比較切面圖與實際的二維圖像，根據(jù)相似度最優(yōu)的原則，得到2D圖像在3D數(shù)據(jù)中的位置。根據(jù)以上分析，已有的2D-3D圖像配準(zhǔn)，嚴(yán)格說是粗配準(zhǔn)，主要采用的策略是接近窮舉的方法或輔助于人工交互，為提高計算效率，金字塔方法及GPU被采用，對金字塔策略而言，在高級別層上通過少量的計算，為后續(xù)匹配提供較小的搜索范圍；GPU的優(yōu)勢體現(xiàn)在數(shù)值計算方面，對邏輯性判斷較多的計算過程，其加速比是有限的。據(jù)報道，2D-3D圖像的配準(zhǔn)速度在2s～15s，GPU加速的情況下，配準(zhǔn)的速度在1s左右，距離實時性的要求還是有相當(dāng)?shù)牟罹唷Ｒ虼耍⒁环N快速且無損的配準(zhǔn)方法具有十分重要的意義。
技術(shù)實現(xiàn)思路
針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本專利技術(shù)提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的2D-3D實時配準(zhǔn)方法，將卷及神經(jīng)網(wǎng)絡(luò)引入到配準(zhǔn)中，其目的在于模擬實際生物的神經(jīng)網(wǎng)絡(luò)，通過其優(yōu)異的特征學(xué)習(xí)能力達(dá)到實時的2D-3D配準(zhǔn)，由此解決現(xiàn)有技術(shù)配準(zhǔn)方法準(zhǔn)確性低、魯棒性低的技術(shù)問題。為實現(xiàn)上述目的，按照本專利技術(shù)的一個方面，提供了一種圖像實時配準(zhǔn)方法，其特征在于，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)；(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(1)所述待配準(zhǔn)的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為同源數(shù)據(jù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其當(dāng)直接采集得到的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為不同源數(shù)據(jù)時，步驟(1)包括以下子步驟：將直接采集得到的2D圖像數(shù)據(jù)轉(zhuǎn)換為與目標(biāo)3D圖像數(shù)據(jù)同源的2D圖像數(shù)據(jù)，作為待配準(zhǔn)的2D圖像數(shù)據(jù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲取：(2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面；(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-2)所述切面滿足以下條件：θ∈[0,360)；其中，l為所述目標(biāo)3D圖像數(shù)據(jù)中的長，w為所述目標(biāo)3D圖像數(shù)據(jù)中的寬，h為所述目標(biāo)3D圖像數(shù)據(jù)中的高。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-3)所述的神經(jīng)網(wǎng)絡(luò)模型優(yōu)選為卷積神經(jīng)網(wǎng)絡(luò)模型；所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依次鏈接的卷積層、池化層、卷積層、池化層、全連接層、激勵層和全連接層。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其所述卷積神經(jīng)網(wǎng)絡(luò)其所述全連接層輸出為3，即待配準(zhǔn)2D圖像的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-4)具體為：將步驟(2-2)中獲得的切面數(shù)據(jù)輸入步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，設(shè)置訓(xùn)練解決方案參數(shù)并初始化網(wǎng)絡(luò)參數(shù)，迭代更新權(quán)重，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-4)所述訓(xùn)練解決方案參數(shù)中學(xué)習(xí)率優(yōu)選設(shè)置為0.0001。按照本專利技術(shù)的另一方面，提供了一種圖像實時配準(zhǔn)系統(tǒng)，包括：圖像采集模塊，用于采集待配準(zhǔn)的2D圖像數(shù)據(jù)；配準(zhǔn)模塊，用于將圖像采集模塊獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。總體而言，通過本專利技術(shù)所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：1、將深度學(xué)習(xí)引入到2D-3D配準(zhǔn)的問題中，將2D與3D的對應(yīng)關(guān)系表達(dá)為一個深度卷積神經(jīng)網(wǎng)絡(luò)，從理論上探索一種解決窮舉計算問題的策略，以達(dá)到實時配準(zhǔn)的目的。2、訓(xùn)練網(wǎng)絡(luò)的合理設(shè)計，為準(zhǔn)確訓(xùn)練提供了保障并且對結(jié)果優(yōu)化有著重要影響。3、解決方案參數(shù)的合理設(shè)置，在保證結(jié)果準(zhǔn)確的前提下進(jìn)一步縮短了網(wǎng)絡(luò)訓(xùn)練的時間。4、訓(xùn)練時調(diào)用GPU，大幅度提高了訓(xùn)練數(shù)據(jù)。附圖說明圖1本專利技術(shù)配準(zhǔn)流程圖；圖2抽取切面原理圖；圖3深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；圖4待配準(zhǔn)的3D醫(yī)學(xué)數(shù)據(jù)圖；圖5待配準(zhǔn)的3D醫(yī)學(xué)數(shù)據(jù)中心處三個斷面圖像；圖6真實切面與測試切面絕對殘差圖。具體實施方式為了使本專利技術(shù)的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本專利技術(shù)進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本專利技術(shù)，并不用于限定本專利技術(shù)。此外，下面所描述的本專利技術(shù)各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。一種圖像時是配準(zhǔn)方法，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)。所述待配準(zhǔn)的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為同源數(shù)據(jù)，當(dāng)直接采集得到的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為不同源數(shù)據(jù)時，將直接采集得到的2D圖像數(shù)據(jù)轉(zhuǎn)換為與目標(biāo)3D圖像數(shù)據(jù)同源的2D圖像數(shù)據(jù)，作為待配準(zhǔn)的2D圖像數(shù)據(jù)。(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲取：(2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面，所述切面的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r滿足以下條件：θ∈[0,360)；其中，l為所述目標(biāo)3D圖像數(shù)據(jù)中的長，w為所述目標(biāo)3D圖像數(shù)據(jù)中的寬，h為所述目標(biāo)3D圖像數(shù)據(jù)中的高。(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；所述神經(jīng)網(wǎng)絡(luò)模型優(yōu)選為卷積神經(jīng)網(wǎng)絡(luò)模型；所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依次鏈接的卷積層、池化層、卷積層、池化層、全連接層、激勵層和全連接層。所述全連接層輸出為3，即待配準(zhǔn)2D圖像的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r。(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。將步驟(2-2)中獲得的切面數(shù)據(jù)輸入步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，設(shè)置訓(xùn)練解決方案參數(shù)并初始化網(wǎng)絡(luò)參數(shù)，迭代更新權(quán)重，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。所述訓(xùn)練解決方案參數(shù)中學(xué)習(xí)率優(yōu)選設(shè)置為0.0001，即每訓(xùn)練10000次學(xué)習(xí)率下降為原學(xué)習(xí)率的1/10，動量momentum設(shè)為0.9，權(quán)值衰減懲罰項weight_decay設(shè)為0.本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種圖像實時配準(zhǔn)方法，其特征在于，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)；(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。

【技術(shù)特征摘要】
1.一種圖像實時配準(zhǔn)方法，其特征在于，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)；(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。2.如權(quán)利要求1所述的圖像實時配準(zhǔn)方法，其特征在于，步驟(1)所述待配準(zhǔn)的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為同源數(shù)據(jù)。3.如權(quán)利要求1所述的圖像實時配準(zhǔn)方法，其特征在于，當(dāng)直接采集得到的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為不同源數(shù)據(jù)時，步驟(1)包括以下子步驟：將直接采集得到的2D圖像數(shù)據(jù)轉(zhuǎn)換為與目標(biāo)3D圖像數(shù)據(jù)同源的2D圖像數(shù)據(jù)，作為待配準(zhǔn)的2D圖像數(shù)據(jù)。4.如權(quán)利要求1所述的圖像實時配準(zhǔn)方法，其特征在于，所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲取：(2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面；(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。5.如權(quán)利要求4所述的的圖像實時配準(zhǔn)方法，其特征在于，步驟(2-2)所述切面滿足以下條件：θ∈[0,360)；r∈[0,max_r)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：侯文廣，陳子軒，徐澤楷，王學(xué)文，盧曉東，
申請(專利權(quán))人：華中科技大學(xué)，
類型：發(fā)明
國別省市：湖北;42