【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于數(shù)字圖像處理領(lǐng)域，具體涉及一種新生兒眼底圖像描述生成方法及成像方法。
技術(shù)介紹
1、新生兒的眼底圖像，在臨床上和基礎(chǔ)醫(yī)學(xué)研究中，都具有重要意義。但是，在現(xiàn)階段的臨床應(yīng)用過程和基礎(chǔ)醫(yī)學(xué)應(yīng)用過程中，針對新生兒的眼底圖像，都需要事先依賴于專業(yè)的醫(yī)學(xué)影像人員或眼科專家，對新生兒的眼底圖像進行解讀。這一人工解讀的過程，不僅費時費力，而且效率不高，可靠性和一致性也一般。
2、目前，已經(jīng)有研究人員提出了針對通用圖像的描述生成的方案。但是，這類生成方案是針對通用圖像的，而新生兒的眼底圖像存在自身的特點，如血管分布稀疏且纖細，視神經(jīng)頭較大且邊緣較為模糊等特點。這些特點，使得現(xiàn)有的通用圖像的描述生成方案，并不適用于新生兒的眼底圖像描述的生成。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的之一在于提供一種可靠性高且精確性好的新生兒眼底圖像描述生成方法。
2、本專利技術(shù)的目的之二在于提供一種包括了所述新生兒眼底圖像描述生成方法的成像方法。
3、本專利技術(shù)提供的這種新生兒眼底圖像描述生成方法，包括如下步驟：
4、s1.?獲取現(xiàn)有的新生兒眼底圖像；
5、s2.?對步驟s1獲取的新生兒眼底圖像進行描述和預(yù)處理，以構(gòu)建訓(xùn)練數(shù)據(jù)集；
6、s3.?基于圖像特征提取網(wǎng)絡(luò)、特征映射網(wǎng)絡(luò)和描述生成模塊，構(gòu)建新生兒眼底圖像描述生成初始模型；
7、新生兒眼底圖像描述生成初始模型包括依次串接的圖像特征提取網(wǎng)絡(luò)、特征映射網(wǎng)絡(luò)和描述生成模塊；圖像
8、s4.?采用步驟s2得到的訓(xùn)練數(shù)據(jù)集，基于似然函數(shù)，對步驟s3構(gòu)建的新生兒眼底圖像描述生成初始模型進行訓(xùn)練，得到新生兒眼底圖像描述生成模型；
9、s5.?采用步驟s4得到的新生兒眼底圖像描述生成模型，進行新生兒眼底圖像描述的自動生成。
10、所述的步驟s2，具體包括如下步驟：
11、針對步驟s1獲取的各種設(shè)定類型的新生兒眼底圖像，進行描述；
12、對描述后的新生兒眼底圖像，進行預(yù)處理；所述的預(yù)處理，包括如下步驟：
13、針對各個設(shè)定類型，將圖像數(shù)量少于第一設(shè)定值的類型的新生兒眼底圖像，重復(fù)若干次；將圖像數(shù)量多于第二設(shè)定值的類型的新生兒眼底圖像，按照設(shè)定比例進行舍棄；
14、將得到的新生兒眼底圖像調(diào)整為設(shè)定分辨率；
15、將調(diào)整分辨率后的新生兒眼底圖像，切分為nn個正方形圖像；將調(diào)整分辨率后的新生兒眼底圖像縮小至與切分后的正方形圖像的大小相同；最終，將一張原始新生兒眼底圖像，預(yù)處理為nn+1張圖像。
16、所述的步驟s3，包括如下步驟：
17、基于siglip模型構(gòu)建圖像特征提取網(wǎng)絡(luò)，用于對輸入的圖像數(shù)據(jù)進行特征提取；
18、基于多層感知機模型構(gòu)建特征映射網(wǎng)絡(luò)，用于將提取得到的特征映射到對應(yīng)的圖像描述；
19、基于qwen2模型構(gòu)建描述生成模塊，用于根據(jù)得到的圖像特征和對應(yīng)的文本提示詞，生成輸入圖像的描述。
20、所述的基于siglip模型構(gòu)建圖像特征提取網(wǎng)絡(luò)，具體包括如下步驟：
21、采用siglip模型構(gòu)建圖像特征提取網(wǎng)絡(luò)，圖像特征提取網(wǎng)絡(luò)的處理過程表示為：式中z為特征提取結(jié)果；x為輸入的圖像；為參數(shù)為的siglip模型的處理函數(shù)；
22、一張原始新生兒眼底圖像，以及對應(yīng)的預(yù)處理后的nn張圖像，共同表示為，其中為壓縮后的原始新生兒眼底圖像，為對應(yīng)的預(yù)處理后的nn張圖像；
23、將nn+1張圖像，均輸入圖像特征提取網(wǎng)絡(luò)，得到特征提取結(jié)果為，其中為的特征提取結(jié)果，為的特征提取結(jié)果。
24、所述的基于多層感知機模型構(gòu)建特征映射網(wǎng)絡(luò)，具體包括如下步驟：
25、特征映射網(wǎng)絡(luò)的輸入為圖像特征提取網(wǎng)絡(luò)輸出的特征提取結(jié)果；
26、對于輸入的特征提取結(jié)果，特征映射網(wǎng)絡(luò)采用的卷積對齊，并在空間維度進行池化，以減小空間維度；為中的第j個特征提取結(jié)果，且；
27、將池化后的特征數(shù)據(jù)映射到目標(biāo)特征維度，并將三維特征展平為二維特征，得到展平后的圖像特征；
28、將展平后的圖像特征輸入具有兩個線性層的多層感知機進行特征映射，表示為：式中為第一線性層輸出的特征提取結(jié)果的隱藏狀態(tài)；為激活函數(shù)，且；為第一線性層的投影矩陣；為第一線性層的偏置項；為多層感知機輸出的特征提取結(jié)果的圖像特征；為第二線性層的投影矩陣；為第二線性層的偏置項；
29、將圖像特征提取網(wǎng)絡(luò)得到的特征提取結(jié)果均輸入特征映射網(wǎng)絡(luò)，得到對應(yīng)的輸出為；為對應(yīng)的特征映射網(wǎng)絡(luò)的輸出，為對應(yīng)的特征映射網(wǎng)絡(luò)的輸出；
30、將得到的進行拼接，得到文本空間中的新生兒眼底圖像特征，并以令牌序列的形式作為描述生成模塊的輸入。
31、所述的基于qwen2模型構(gòu)建描述生成模塊，具體包括如下步驟：
32、采用qwen2模型構(gòu)建描述生成模塊；
33、將輸入的文本指令通過嵌入層得到文本嵌入；將文本嵌入與進行拼接，采用自回歸的方式生成輸入圖像的描述；
34、所述的自回歸的方式，包括如下步驟：
35、在生成過程中，遞歸地采用之前生成的值來生成下一個值，直至生成過程結(jié)束；
36、在生成過程中，當(dāng)前位置預(yù)測值表示為，當(dāng)前位置之前的所有生成值表示為，則生成過程表示為：其中表示生成描述的概率，且，l為生成的描述的長度，為預(yù)測位置之前的輸入指令，為預(yù)測位置之前的生成內(nèi)容。
37、步驟s4所述的訓(xùn)練，具體包括如下步驟：
38、通過參數(shù)高效微調(diào)的訓(xùn)練方式，最大化模型的似然函數(shù)；在一個批次內(nèi)的似然函數(shù)表示為：式中為在參數(shù)下的概率；b為批次的大小；為對應(yīng)批次中第b個樣本的當(dāng)前位置預(yù)測值；為對應(yīng)批次中第b個樣本的圖像；為對應(yīng)批次中第b個樣本的預(yù)測位置之前的輸入指令，為對應(yīng)批次中第b個樣本的預(yù)測位置之前的生成內(nèi)容；
39、為了提高模型的泛化能力，采用梯度累加的方式，將k個批次得到的梯度進行平均操作；k為設(shè)定的批次值；
40、所述的參數(shù)高效微調(diào)的訓(xùn)練方式，具體包括如下內(nèi)容：
41、將步驟s3中構(gòu)建的新生兒眼底圖像描述生成初始模型作為初級模型，對應(yīng)的初級模型參數(shù)表示為；
42、訓(xùn)練過程中，通過訓(xùn)練一個相對于初級模型參數(shù)而言小于第三設(shè)定值的參數(shù)集合，以編碼初級模型的增量，同時保持原始權(quán)重不變；在模型的線性層增加可訓(xùn)練的低秩矩陣分解；訓(xùn)練時，輸入數(shù)據(jù)經(jīng)過線性層，梯度更新僅作用于低秩矩陣，而保持初始模型的參數(shù)不變；在推理階段，將訓(xùn)練得到的增量權(quán)重合并到初始模型，以實現(xiàn)更加高效的參數(shù)更新；
43、模型權(quán)重的更新算式表示為：式中為更新后的模型參數(shù)；為由可訓(xùn)練參數(shù)編碼的模型權(quán)重增量；...
【技術(shù)保護點】
1.一種新生兒眼底圖像描述生成方法，其特征在于包括如下步驟：
2.根據(jù)權(quán)利要求1所述的新生兒眼底圖像描述生成方法，其特征在于所述的步驟S2，具體包括如下步驟：
3.根據(jù)權(quán)利要求2所述的新生兒眼底圖像描述生成方法，其特征在于所述的步驟S3，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的新生兒眼底圖像描述生成方法，其特征在于所述的基于SigLip模型構(gòu)建圖像特征提取網(wǎng)絡(luò)，具體包括如下步驟：
5.根據(jù)權(quán)利要求4所述的新生兒眼底圖像描述生成方法，其特征在于所述的基于多層感知機模型構(gòu)建特征映射網(wǎng)絡(luò)，具體包括如下步驟：
6.根據(jù)權(quán)利要求5所述的新生兒眼底圖像描述生成方法，其特征在于所述的基于Qwen2模型構(gòu)建描述生成模塊，具體包括如下步驟：
7.根據(jù)權(quán)利要求6所述的新生兒眼底圖像描述生成方法，其特征在于步驟S4所述的訓(xùn)練，具體包括如下步驟：
8.一種包括了權(quán)利要求1~7之一所述的新生兒眼底圖像描述生成方法的成像方法，其特征在于還包括如下步驟：
【技術(shù)特征摘要】
1.一種新生兒眼底圖像描述生成方法，其特征在于包括如下步驟：
2.根據(jù)權(quán)利要求1所述的新生兒眼底圖像描述生成方法，其特征在于所述的步驟s2，具體包括如下步驟：
3.根據(jù)權(quán)利要求2所述的新生兒眼底圖像描述生成方法，其特征在于所述的步驟s3，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的新生兒眼底圖像描述生成方法，其特征在于所述的基于siglip模型構(gòu)建圖像特征提取網(wǎng)絡(luò)，具體包括如下步驟：
5.根據(jù)權(quán)利要求4所述的新生...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：梁毅雄，張驍，江冰，郭杰，
申請(專利權(quán))人：中南大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。