多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)涉及多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)。公開了一種用于多模態(tài)體積圖像的融合的方法和系統(tǒng)。接收使用第一成像模態(tài)來捕獲的第一圖像。接收使用第二成像模態(tài)來捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，并且變換將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于經(jīng)過估計(jì)的變換來融合。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及多模態(tài)體積醫(yī)學(xué)圖像的融合，并且更特別地，涉及術(shù)前和術(shù)中體積醫(yī) 學(xué)圖像的基于模型的融合。
技術(shù)介紹
近年來，心臟治療的主要趨勢已朝向微創(chuàng)經(jīng)導(dǎo)管過程，以減少利用傳統(tǒng)外科技術(shù) 所涉及的風(fēng)險(xiǎn)。不是全胸骨切開術(shù)，而是器材和設(shè)備通過小切口被引入，通過脈管前進(jìn)，并 且被定位來執(zhí)行各種過程。在不需要直接接入和觀察受影響的結(jié)構(gòu)的情況下，這樣的介入 通常在所謂的混合手術(shù)室(配備有高級成像裝備的手術(shù)室)中被執(zhí)行。使用這樣的高級成 像裝備，諸如經(jīng)導(dǎo)管主動脈瓣置換術(shù)(TAV)的過程經(jīng)由通過C-臂X射線和經(jīng)食管超聲心動 圖系統(tǒng)所提供的實(shí)時(shí)術(shù)中圖像來引導(dǎo)。照慣例，醫(yī)學(xué)圖像分析領(lǐng)域已集中在根據(jù)成熟的診斷成像模態(tài)(例如，計(jì)算機(jī)斷 層掃描(CT)和磁共振(MR))來構(gòu)造患者特定的解剖模型，以幫助疾病分析和治療計(jì)劃。例 如，在瓣膜病管理的環(huán)境中，已提出用于在CT和/或MR圖像中構(gòu)建主動脈和二尖瓣的模型 的技術(shù)。然而，這樣的技術(shù)還未被開發(fā)來應(yīng)對術(shù)中圖像的降低的質(zhì)量和對比度特征。因此， 這樣的技術(shù)的使用被限于術(shù)前決策。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供一種用于通過根據(jù)多個(gè)成像模態(tài)來聯(lián)合地估計(jì)解剖模型而融合術(shù)前 和術(shù)中圖像信息的方法和系統(tǒng)。術(shù)前和術(shù)中圖像信息的融合允許高質(zhì)量的患者特定的模型 被集成到手術(shù)室的成像環(huán)境中，以引導(dǎo)心臟介入。本專利技術(shù)的實(shí)施方式通過依靠機(jī)器學(xué)習(xí)技 術(shù)來實(shí)現(xiàn)穩(wěn)健性(robustness)和效率，以驅(qū)動聯(lián)合估計(jì)過程，由此利用了多個(gè)成像模態(tài)之 間的相似性。本專利技術(shù)的實(shí)施方式采用在概率估計(jì)框架之內(nèi)的統(tǒng)計(jì)學(xué)解剖模型，以確保生理 適應(yīng)的結(jié)果(physiological compliant result)。在本專利技術(shù)的一個(gè)實(shí)施方式中，接收使用第一成像模態(tài)來捕獲的第一圖像，以及接 收使用第二成像模態(tài)來捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖 結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，而變換將目標(biāo)解剖 結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于所估計(jì)的變 換進(jìn)行融合。附圖說明參照如下詳細(xì)描述和附圖，本專利技術(shù)的這些以及其它優(yōu)點(diǎn)對于本領(lǐng)域普通技術(shù)人員 將是顯而易見的。圖1圖示了依照本專利技術(shù)實(shí)施方式的用于多模態(tài)圖像的基于模型的融合的方法；圖2圖示了多模態(tài)圖像的基于模型的融合的概觀；圖3圖示了依照本專利技術(shù)實(shí)施方式的用于聯(lián)合地估計(jì)第一和第二多模態(tài)圖像中的 模型和變換的方法；圖4圖示了使用圖3的方法來估計(jì)模型和變換的基于模型的融合方法；圖5圖示了示例性的多模態(tài)圖像融合結(jié)果；以及圖6是能夠?qū)嵤┍緦＠夹g(shù)的計(jì)算機(jī)的高級框圖。具體實(shí)施方式本專利技術(shù)涉及多模態(tài)體積圖像的基于模型的融合。本專利技術(shù)的實(shí)施方式可以被用于融 合多個(gè)成像模態(tài)中的圖像信息，諸如融合計(jì)算機(jī)斷層掃描(CT)、Dyna CT、超聲心動圖數(shù)據(jù)、 突光透視圖像(fluoroscopic image)數(shù)據(jù)以及磁共振成像(MRI)中的圖像信息。在此描述 本專利技術(shù)的實(shí)施方式，以給出對基于模型的圖像融合方法的視覺理解。數(shù)字圖像常常包括一 個(gè)或多個(gè)對象(或形狀)的數(shù)字表示。對象的數(shù)字表示在此常常在標(biāo)識和操縱對象方面來 描述。這樣的操縱是在計(jì)算機(jī)系統(tǒng)的存儲器或其他電路/硬件中完成的虛擬操縱。因此， 應(yīng)理解的是，本專利技術(shù)的實(shí)施方式可以在計(jì)算機(jī)系統(tǒng)之內(nèi)使用存儲在該計(jì)算機(jī)系統(tǒng)之內(nèi)的數(shù) 據(jù)來執(zhí)行。本專利技術(shù)的實(shí)施方式提供了一種用于多模態(tài)體積圖像的基于模型的融合的方法。該 方法的益處包括完整性，通過利用被多個(gè)模態(tài)補(bǔ)充的信息；穩(wěn)健性，通過利用來自多個(gè)模 態(tài)的冗余信息來減少估計(jì)不確定性；以及融合，通過獲得多個(gè)模態(tài)的模型敏感的集成。本發(fā) 明的實(shí)施方式可以被應(yīng)用于經(jīng)導(dǎo)管瓣膜過程的術(shù)前和術(shù)中圖像的基于模型的融合，但是本 專利技術(shù)并不限于此。圖1圖示了依照本專利技術(shù)的實(shí)施方式的用于多模態(tài)圖像的基于模型的融合的方法。 圖1的方法在此被描述為融合術(shù)前和術(shù)中圖像信息，但是本專利技術(shù)并不限于此。在步驟102， 接收第一醫(yī)學(xué)圖像。該第一醫(yī)學(xué)圖像通過使用第一成像模態(tài)來捕獲。該第一醫(yī)學(xué)圖像可以 直接從圖像捕獲設(shè)備中接收到，諸如從CT掃描儀接收到。還可能通過從計(jì)算機(jī)系統(tǒng)的存儲 器或內(nèi)存中加載所存儲的醫(yī)學(xué)圖像而接收到第一醫(yī)學(xué)圖像。在有利的實(shí)施方式中，第一醫(yī) 學(xué)圖像可以是患者的術(shù)前體積(3D)圖像。例如，第一醫(yī)學(xué)圖像可以是術(shù)前CT或MR圖像。在步驟104，接收第二醫(yī)學(xué)圖像。該第二醫(yī)學(xué)圖像通過使用第二成像模態(tài)來捕獲。 該第二醫(yī)學(xué)圖像可以直接從圖像捕獲設(shè)備中接收到，諸如從C-臂圖像捕獲設(shè)備接收到。還 可能通過從計(jì)算機(jī)系統(tǒng)的存儲器或內(nèi)存中加載所存儲的醫(yī)學(xué)圖像而接收到第二醫(yī)學(xué)圖像。 在有利的實(shí)施方式中，第二醫(yī)學(xué)圖像可以是患者的術(shù)中體積(3D)圖像。例如，第二第一醫(yī) 學(xué)圖像可以是在諸如經(jīng)導(dǎo)管主動瓣膜置換術(shù)之類的手術(shù)期間從圖像捕獲設(shè)備接收到的術(shù) 中C-臂CT圖像或經(jīng)食管超聲心動圖(TEE)圖像。在步驟106，在第一和第二圖像中聯(lián)合地估計(jì)目標(biāo)解剖結(jié)構(gòu)的解剖模型。第一和 第二圖像中的聯(lián)合地估計(jì)的解剖模型可被表達(dá)為模型和變換。模型對應(yīng)于該目標(biāo)解剖結(jié)構(gòu) 在第一圖像中的經(jīng)過估計(jì)的解剖模型，而變換將第二圖像中的經(jīng)過估計(jì)的解剖模型投影到 第一圖像中的經(jīng)過估計(jì)的解剖模型。在將術(shù)前3D圖像和術(shù)中3D圖像融合的情況下，該步 驟聯(lián)合地估計(jì)目標(biāo)結(jié)構(gòu)的術(shù)前和術(shù)中模型，以便提供術(shù)前和術(shù)中圖像信息的模型敏感的集成。圖2圖示了多模態(tài)圖像的基于模型的融合的概觀。圖2的實(shí)例聯(lián)合地估計(jì)了術(shù)前和術(shù)中圖像數(shù)據(jù)中的主動脈瓣模型。如圖2中所示，以統(tǒng)計(jì)學(xué)主動脈瓣模型202開始，目的是根據(jù)體積數(shù)據(jù)集I1和I2估計(jì)3D解剖學(xué)的患者特定模型M和變換Φ，其中I1是術(shù)前圖像 204以及I2是術(shù)中圖像206，所述變換Φ將術(shù)中模型M2映射到術(shù)前模型Mp在圖2中，聯(lián)合地估計(jì)的患者特定模型M在所融合的圖像208中被示出。最優(yōu)的聯(lián)合地估計(jì)的患者特定模型和變換可以被表達(dá)為權(quán)利要求1.一種用于多模態(tài)圖像的融合的方法，其包括接收使用第一成像模態(tài)來捕獲的第一圖像；接收使用第二成像模態(tài)來捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換。2.權(quán)利要求1的方法，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。3.權(quán)利要求2的方法，其中，變換包括仿射變換和非線性卷繞變換。4.權(quán)利要求1的方法,進(jìn)一步包括通過使用變換而根據(jù)第一和第二圖像生成被融合的圖像。5.權(quán)利要求1的方法，其中，根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換的步驟包括在第一和第二圖像中的每個(gè)圖像中獨(dú)立地檢測界標(biāo)；使用第一和第二圖像中所檢測到的界標(biāo)來估計(jì)最初的變換；基于在第一圖像中檢測到的界標(biāo)初始化第一圖像中的模型；使用最初的變換初始化第二圖像中的所投影的模型；以及至少基于針對模型和所投影的模型的相對應(yīng)的點(diǎn)所檢測到的聯(lián)合概率更新模型和變換。6.權(quán)利要求5的方法，其中，至少基于針對模型和所投影的模型的相對應(yīng)的點(diǎn)所檢測到的聯(lián)合概率更新模型和變換的步驟包括基于針對模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率，更新模型和所投影的模型的點(diǎn)；以及本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于多模態(tài)圖像的融合的方法，其包括：接收使用第一成像模態(tài)來捕獲的第一圖像；接收使用第二成像模態(tài)來捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換。

【技術(shù)特征摘要】
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：S·格爾比克，R·I·約納塞克，王洋，B·喬治斯庫，T·曼西，D·科馬尼丘，鄭冶楓，周少華，M·約翰，J·貝澤，
申請(專利權(quán))人：西門子公司，西門子公司，
類型：發(fā)明
國別省市：