基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，包括：構(gòu)建源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)，基于所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)獲取遷移數(shù)據(jù)；基于所述遷移數(shù)據(jù)構(gòu)建域分割模型；基于自訓(xùn)練策略對(duì)所述域分割模型進(jìn)行優(yōu)化，獲取最優(yōu)分割模型；基于所述最優(yōu)分割模型進(jìn)行圖像域分割。本發(fā)明專利技術(shù)提出的雙向跨模態(tài)無監(jiān)督域適應(yīng)框架摒棄了傳統(tǒng)的對(duì)抗網(wǎng)絡(luò)訓(xùn)練方式，顯式地縮小了源域和目標(biāo)域的數(shù)據(jù)差異，從而有效提升了在目標(biāo)域的分割性能。從而有效提升了在目標(biāo)域的分割性能。從而有效提升了在目標(biāo)域的分割性能。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法


[0001]本專利技術(shù)屬于圖像處理及應(yīng)用領(lǐng)域，特別是涉及一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法。

技術(shù)介紹

[0002]目前，基于深度學(xué)習(xí)的多模態(tài)醫(yī)學(xué)圖像分割已經(jīng)取得了巨大成功，這對(duì)于臨床評(píng)估、診斷以及治療具有重要意義。我們往往有一個(gè)基本的假設(shè)：在模型訓(xùn)練的過程中，訓(xùn)練集(源域)和測(cè)試集(目標(biāo)域)來自同一個(gè)域，其數(shù)據(jù)分布不存在偏差。然而，在實(shí)際應(yīng)用中該假設(shè)是過強(qiáng)的，不同模態(tài)的下的心臟區(qū)域圖像由于物理成像特性有著完全不同的視覺特點(diǎn)。因此，當(dāng)把訓(xùn)練好的模型應(yīng)用到實(shí)際的醫(yī)療場(chǎng)景中時(shí)，模型的性能往往會(huì)由于醫(yī)學(xué)圖像數(shù)據(jù)是采集自不同的掃描機(jī)器、配置以及模態(tài)，即存在跨域偏移,產(chǎn)生災(zāi)難性的下降。為了解決域偏移的問題，域適應(yīng)技術(shù)近幾年引起了學(xué)者的廣泛關(guān)注，它試圖在源域數(shù)據(jù)分布下訓(xùn)練一個(gè)在目標(biāo)域也能表現(xiàn)良好的模型。當(dāng)標(biāo)簽可用時(shí)，最直接的方式就是將在源域中預(yù)訓(xùn)練好的模型在目標(biāo)域中進(jìn)行微調(diào)，但是與自然圖像不同，醫(yī)學(xué)圖像中沒有類似ImageNet大規(guī)模的有標(biāo)注數(shù)據(jù)集，首先很難得到一個(gè)可靠且有效的預(yù)訓(xùn)練模型，另外由于醫(yī)學(xué)圖像標(biāo)注是極其昂貴的，不僅需要專家知識(shí)還需要費(fèi)時(shí)費(fèi)力的標(biāo)注，因此對(duì)一個(gè)新的域進(jìn)行額外標(biāo)注是不切實(shí)際的。相反,無監(jiān)督域適應(yīng)由于不需要目標(biāo)域標(biāo)注數(shù)據(jù),作為有力的解決方式在臨床實(shí)踐中應(yīng)用廣泛。
[0003]目前在醫(yī)學(xué)圖像分析中先進(jìn)的無監(jiān)督域適應(yīng)方法主要包括特征級(jí)對(duì)齊,圖像級(jí)對(duì)齊和特征及圖像結(jié)合對(duì)齊,還有一些工作基于解耦表征以及集成學(xué)習(xí)。基于特征級(jí)對(duì)齊的方法通過對(duì)抗學(xué)習(xí)的方式迫使網(wǎng)絡(luò)最小化兩個(gè)域之間的特征分布來學(xué)習(xí)域不變特征，但是這類方法通常對(duì)于像素級(jí)的域偏移不敏感，因此不利于密集的醫(yī)學(xué)圖像分割任務(wù)。另外一類是基于圖像級(jí)對(duì)齊的方法，這類方法主要是將源域的圖像在像素級(jí)通過圖像遷移變換成和目標(biāo)域相似的圖像,然后通過對(duì)抗的方式來減小域偏移，但是無法完全保證語(yǔ)義的一致性。結(jié)合以上兩類方法，有少數(shù)將兩類方法進(jìn)行結(jié)合的工作，來進(jìn)一步解決跨模態(tài)醫(yī)學(xué)圖像中的域適應(yīng)。目前提出的方法都取得了不錯(cuò)的結(jié)果，但都存在一個(gè)問題：訓(xùn)練較為復(fù)雜。對(duì)抗網(wǎng)絡(luò)由于訓(xùn)練本身就容易陷入崩潰,模型優(yōu)化的過程過于復(fù)雜。因此，亟需尋求一個(gè)簡(jiǎn)單有效的方式來顯式學(xué)習(xí)域之間的偏移，從而直接提高模型在目標(biāo)域上的性能。

技術(shù)實(shí)現(xiàn)思路

[0004]本專利技術(shù)的目的是提供一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，以解決上述現(xiàn)有技術(shù)存在的問題。
[0005]為實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，包括：
[0006]構(gòu)建源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)，基于所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)獲取遷移數(shù)據(jù)；
[0007]基于所述遷移數(shù)據(jù)構(gòu)建域分割模型；
[0008]基于自訓(xùn)練策略對(duì)所述域分割模型進(jìn)行優(yōu)化，獲取最優(yōu)分割模型；
[0009]基于所述最優(yōu)分割模型進(jìn)行圖像域分割。
[0010]可選地，所述源域數(shù)據(jù)包括源域圖像，所述目標(biāo)域數(shù)據(jù)包括目標(biāo)域圖像。
[0011]可選地，所述遷移數(shù)據(jù)為具有所述目標(biāo)域數(shù)據(jù)紋理細(xì)節(jié)信息的數(shù)據(jù)；基于所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)獲取遷移數(shù)據(jù)的過程包括：
[0012]對(duì)所述源域數(shù)據(jù)進(jìn)行譜遷移訓(xùn)練，獲取所述遷移數(shù)據(jù)。
[0013]可選地，對(duì)所述源域數(shù)據(jù)進(jìn)行譜遷移訓(xùn)練的過程包括：
[0014]對(duì)所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)進(jìn)行平穩(wěn)小波變換，獲取源域高頻小波分量與目標(biāo)域高頻小波分量，使所述目標(biāo)域高頻小波分量替換所述源域高頻小波分量。
[0015]可選地，基于所述遷移數(shù)據(jù)構(gòu)建域分割模型的過程包括：
[0016]將所述遷移數(shù)據(jù)經(jīng)過編碼器并進(jìn)行訓(xùn)練，獲取所述域分割模型。
[0017]可選地，將所述遷移數(shù)據(jù)經(jīng)過編碼器并進(jìn)行訓(xùn)練的過程中，對(duì)所述遷移數(shù)據(jù)采用基于熵的正則化約束。
[0018]可選地，所述基于熵的正則化約束包括：
[0019][0020]其中ρ(x)＝(x2+0.0012)
η
]，為目標(biāo)域數(shù)據(jù)，E
w
為共享的編碼器；
[0021]總體損失函數(shù)為
[0022]可選地，基于自訓(xùn)練策略對(duì)所述域分割模型進(jìn)行優(yōu)化的過程包括：
[0023]分別基于所述目標(biāo)域數(shù)據(jù)的小波域的水平、垂直以及對(duì)角高頻分量獲取三個(gè)分割模型，基于三個(gè)所述分割模型獲取三個(gè)預(yù)測(cè)結(jié)果，基于三個(gè)所述預(yù)測(cè)結(jié)果的平均值作為所述目標(biāo)域數(shù)據(jù)的偽標(biāo)簽對(duì)所述域分割模型進(jìn)行優(yōu)化。
[0024]本專利技術(shù)的技術(shù)效果為：
[0025]1.本專利技術(shù)提出的雙向跨模態(tài)無監(jiān)督域適應(yīng)框架摒棄了傳統(tǒng)的對(duì)抗網(wǎng)絡(luò)訓(xùn)練方式，顯式地縮小了源域和目標(biāo)域的數(shù)據(jù)差異，從而有效提升了在目標(biāo)域的分割性能。
[0026]2.本專利技術(shù)提出了基于平穩(wěn)小波變換的譜遷移方法，可以通過該方法得到具有目標(biāo)域細(xì)節(jié)特征的源域數(shù)據(jù)，從而訓(xùn)練適合目標(biāo)域的模型。對(duì)于醫(yī)學(xué)跨模態(tài)圖像來說，由于掃描設(shè)備的固有屬性區(qū)別，不同的模態(tài)圖像之間的紋理細(xì)節(jié)信息存在較大差異，因此在模型訓(xùn)練的過程中，這種紋理細(xì)節(jié)差異是模型需要學(xué)習(xí)的，但往往對(duì)于模型來說這種低維的信息是比較難學(xué)習(xí)到的，因此如果我們一開始就將這種信息從目標(biāo)域遷移到源域，會(huì)使模型優(yōu)化的過程變得更加簡(jiǎn)單，從而將學(xué)習(xí)的焦點(diǎn)放在其他的特征上。
[0027]3.本專利技術(shù)為了進(jìn)一步提升模型的域適應(yīng)能力，從而在目標(biāo)域達(dá)到更高的性能，本專利技術(shù)采用了基于熵的損失函數(shù)來約束目標(biāo)域的決策邊界，從而優(yōu)化模型來實(shí)現(xiàn)在目標(biāo)域上更高的分割性能。
[0028]4.本專利技術(shù)引入了自訓(xùn)練技術(shù)，通過使用在有標(biāo)簽的源域數(shù)據(jù)中學(xué)習(xí)到的模型來生成無標(biāo)簽數(shù)據(jù)的無標(biāo)簽。我們利用平均教師訓(xùn)練策略來優(yōu)化模型，具體來說，我們分別遷移目標(biāo)域數(shù)據(jù)小波域的水平、垂直以及對(duì)角高頻分量訓(xùn)練三個(gè)不同的模型，然后利用這三個(gè)模型預(yù)測(cè)結(jié)果的平均值作為目標(biāo)域數(shù)據(jù)的偽標(biāo)簽來優(yōu)化模型。
附圖說明
[0029]構(gòu)成本申請(qǐng)的一部分的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：
[0030]圖1為本專利技術(shù)實(shí)施例中的基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)模型訓(xùn)練框架圖，其中圖1(a)為平穩(wěn)小波變換分解示意圖與高頻譜分量遷移示意圖，圖1(b)為基于小波譜遷移的無監(jiān)督域適應(yīng)框架圖。
具體實(shí)施方式
[0031]需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請(qǐng)。
[0032]需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0033]實(shí)施例一
[0034]如圖1所示，本實(shí)施例中提供一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法。
[0035]對(duì)于無監(jiān)督跨模態(tài)醫(yī)學(xué)圖像分割域適應(yīng)，我們給定源域數(shù)據(jù)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，其特征在于，包括以下步驟：構(gòu)建源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)，基于所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)獲取遷移數(shù)據(jù)；基于所述遷移數(shù)據(jù)構(gòu)建域分割模型；基于自訓(xùn)練策略對(duì)所述域分割模型進(jìn)行優(yōu)化，獲取最優(yōu)分割模型；基于所述最優(yōu)分割模型進(jìn)行圖像域分割。2.根據(jù)權(quán)利要求1所述的基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，其特征在于，所述源域數(shù)據(jù)包括源域圖像，所述目標(biāo)域數(shù)據(jù)包括目標(biāo)域圖像。3.根據(jù)權(quán)利要求1所述的基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，其特征在于，所述遷移數(shù)據(jù)為具有所述目標(biāo)域數(shù)據(jù)紋理細(xì)節(jié)信息的數(shù)據(jù)；基于所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)獲取遷移數(shù)據(jù)的過程包括：對(duì)所述源域數(shù)據(jù)進(jìn)行譜遷移訓(xùn)練，獲取所述遷移數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的基于小波譜遷移的雙向跨模態(tài)無監(jiān)督圖像分割域適應(yīng)方法，其特征在于，對(duì)所述源域數(shù)據(jù)進(jìn)行譜遷移訓(xùn)練的過程包括：對(duì)所述源域數(shù)據(jù)與所述目標(biāo)域數(shù)據(jù)進(jìn)行平穩(wěn)小波變換，獲取源域高頻小波分量與目標(biāo)域高頻小波分量，使所述目標(biāo)域高頻小波分量替換所述源域高頻小波分量。5.根據(jù)權(quán)利...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉紹雷，宋志堅(jiān)，王滿寧，
申請(qǐng)(專利權(quán))人：復(fù)旦大學(xué)，
類型：發(fā)明
國(guó)別省市：