【技術實現步驟摘要】
本申請涉及計算機,特別是涉及一種分布式系統的數據融合方法、裝置、電子設備及存儲介質。
技術介紹
1、分布式系統是一種由多個節點組成的網絡,這些節點通過網絡相互通信并協同工作,以實現共同的目標。隨著科學技術的不斷發展,分布式系統的框架為智慧城市、智能交通、智慧園區等概念提供了強大支持。例如智慧園區通過在園區各企業節點中部署分布式物聯網數據采集設備,采集各個企業相關數據,再將相關數據發送至云端,通過云端進行數據融合處理,根據處理結果協助不同企業進行智慧化管理。
2、然而,相關技術通常將分布式設備采集的數據統一傳送至云端集中處理,在這個過程并未考慮數據隱私問題,以及由于采集設備的區別產生數據模態差異問題,因此云端根據這些數據得到的數據處理結果準確度不高。
技術實現思路
1、本申請旨在至少解決現有技術中存在的技術問題之一。為此,本申請實施例提供了一種分布式系統的數據融合方法、裝置、電子設備及存儲介質,能夠提高數據處理結果的準確性。
2、第一方面,本申請實施例提供了一種分布式系統的數據融合方法,所述分布式系統包括中心節點和至少一個邊緣節點,每個所述邊緣節點與所述中心節點通信連接;所述方法包括:
3、獲取所述邊緣節點的至少一種模態數據,并利用預訓練的模態映射模型對每種所述模態數據進行映射,得到對應的模態映射數據;
4、獲取每種所述模態數據對應的數據原型,并將所述數據原型傳輸至所述中心節點;
5、獲取所述中心節點對所述數據原型進行聚合操
6、將所述模態映射數據與所述全局數據原型進行對比映射,得到池化模態數據;
7、將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,將所述融合參數發送至所述中心節點,并接收所述中心節點基于所述融合參數得到的優化參數,基于所述優化參數更新所述數據融合模型。
8、在本申請的一些實施例中,所述獲取每種所述模態數據對應的數據原型,包括:
9、獲取所述邊緣節點中所述模態數據的數據樣本總數;
10、對同種所述模態數據的模態映射數據進行加和操作,得到模態數據原型;
11、將所述模態數據原型除以所述數據樣本總數,得到所述數據原型。
12、在本申請的一些實施例中,所述獲取所述中心節點對所述數據原型進行聚合操作得到的每種模態對應的全局數據原型,包括:
13、利用所述中心節點對每個所述邊緣節點的所述數據樣本總數進行加和操作,得到全局樣本總數;
14、利用所述中心節點將所述邊緣節點的所述數據樣本總數除以所述全局樣本總數,得到所述邊緣節點的邊緣系數;
15、利用所述中心節點將所述邊緣系數乘以所述數據原型,得到所述邊緣節點的參考數據原型;
16、獲取所述中心節點對每個所述邊緣節點的所述參考數據原型進行加和操作得到的所述全局數據原型。
17、在本申請的一些實施例中,所述將所述模態映射數據與所述全局數據原型進行對比映射,得到池化模態數據,包括:
18、根據所述全局數據原型獲取全局模態數據;其中,所述全局模態數據包括每個所述邊緣節點的每種所述模態數據;
19、將每種所述模態映射數據與所述全局模態數據依次進行對比映射,得到對應的對比映射數據;
20、將所述對比映射數據進行平均池化操作,得到所述池化模態數據。
21、在本申請的一些實施例中,所述將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,包括:
22、基于所述池化模態數據進行模態學習,得到每種所述模態數據的模態參數;
23、根據全局模態數據計算得到每種所述模態數據對應的模態權重;
24、將所述模態權重乘以所述模態參數,得到所述模態數據的融合數據;
25、對每種所述模態數據的所述融合數據進行加和操作,得到模態融合數據;
26、將所述模態融合數據輸入所述數據融合模型進行訓練,得到所述融合參數。
27、在本申請的一些實施例中,所述將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,將所述融合參數發送至所述中心節點,并接收所述中心節點基于所述融合參數得到的優化參數,基于所述優化參數更新所述數據融合模型,包括:
28、基于所述模態融合數據、所述全局數據原型和所述模態映射數據計算所述數據融合模型的模型指標;
29、根據所述模型指標更新所述數據融合模型的融合參數,并將所述融合參數發送至所述中心節點;
30、接收所述中心節點對每個所述邊緣節點的所述融合參數進行平均聚合操作得到的所述優化參數;
31、若所述數據融合模型未滿足預設條件,則將所述優化參數作為新的所述融合參數,重復訓練所述數據融合模型。
32、在本申請的一些實施例中,每個所述模態數據包括數據標簽;所述基于所述模態融合數據、所述全局數據原型和所述模態映射數據計算所述數據融合模型的模型指標,包括:
33、將所述模態融合數據輸入至所述數據融合模型進行預測,得到預測標簽;
34、根據所述數據標簽和所述預測標簽計算所述數據融合模型的交叉熵損失;
35、根據所述全局數據原型和所述模態映射數據計算所述邊緣節點的對比損失;
36、根據所述交叉熵損失和所述對比損失計算得到所述模型指標。
37、第二方面,本申請實施例還提供了一種分布式系統的數據融合裝置,應用如本申請第一方面實施例所述的分布式系統的數據融合方法,包括:
38、映射模塊,用于獲取所述邊緣節點的至少一種模態數據,并利用預訓練的模態映射模型對每種所述模態數據進行映射,得到對應的模態映射數據;
39、原型模塊,用于獲取每種所述模態數據對應的數據原型,并將所述數據原型傳輸至所述中心節點;
40、全局模塊,用于獲取所述中心節點對所述數據原型進行聚合操作得到的每種模態對應的全局數據原型;
41、對比模塊,用于將所述模態映射數據與所述全局數據原型進行對比映射,得到池化模態數據;
42、更新模塊,用于將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,將所述融合參數發送至所述中心節點,并接收所述中心節點基于所述融合參數得到的優化參數,基于所述優化參數更新所述數據融合模型。
43、第三方面,本申請實施例還提供了一種電子設備,包括存儲器、處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現如本申請第一方面實施例所述的分布式系統的數據融合方法。
44、第四方面,本申請實施例還提供了一種計算機可讀存儲介質,所述存儲介質存儲有程序,所述程序被處理器執行實現如本申請第一方面實施例所述的分布式系統的數據融合方法。
45、本申請實施例至少包括以下有益效果:
46、本申請實施例提供了一種分布式系統的數本文檔來自技高網...
【技術保護點】
1.一種分布式系統的數據融合方法,其特征在于,所述分布式系統包括中心節點和至少一個邊緣節點,每個所述邊緣節點與所述中心節點通信連接;所述方法包括:
2.根據權利要求1所述的分布式系統的數據融合方法,其特征在于,所述獲取每種所述模態數據對應的數據原型,包括:
3.根據權利要求2所述的分布式系統的數據融合方法,其特征在于,所述獲取所述中心節點對所述數據原型進行聚合操作得到的每種模態對應的全局數據原型,包括:
4.根據權利要求1所述的分布式系統的數據融合方法,其特征在于,所述將所述模態映射數據與所述全局數據原型進行對比映射,得到池化模態數據,包括:
5.根據權利要求1或4所述的分布式系統的數據融合方法,其特征在于,所述將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,包括:
6.根據權利要求5所述的分布式系統的數據融合方法,其特征在于,所述將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,將所述融合參數發送至所述中心節點,并接收所述中心節點基于所述融合參數得到的優化參數,基于所述優化參數更新所述數據融合模型,包
7.根據權利要求6所述的分布式系統的數據融合方法,其特征在于,每個所述模態數據包括數據標簽;所述基于所述模態融合數據、所述全局數據原型和所述模態映射數據計算所述數據融合模型的模型指標,包括:
8.一種分布式系統的數據融合裝置,其特征在于,應用如權利要求1至7中任一項所述的分布式系統的數據融合方法,包括:
9.一種電子設備,其特征在于,包括存儲器、處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的分布式系統的數據融合方法。
10.一種計算機可讀存儲介質,其特征在于,所述存儲介質存儲有程序,所述程序被處理器執行實現如權利要求1至7中任一項所述的分布式系統的數據融合方法。
...【技術特征摘要】
1.一種分布式系統的數據融合方法,其特征在于,所述分布式系統包括中心節點和至少一個邊緣節點,每個所述邊緣節點與所述中心節點通信連接;所述方法包括:
2.根據權利要求1所述的分布式系統的數據融合方法,其特征在于,所述獲取每種所述模態數據對應的數據原型,包括:
3.根據權利要求2所述的分布式系統的數據融合方法,其特征在于,所述獲取所述中心節點對所述數據原型進行聚合操作得到的每種模態對應的全局數據原型,包括:
4.根據權利要求1所述的分布式系統的數據融合方法,其特征在于,所述將所述模態映射數據與所述全局數據原型進行對比映射,得到池化模態數據,包括:
5.根據權利要求1或4所述的分布式系統的數據融合方法,其特征在于,所述將所述池化模態數據輸入數據融合模型進行訓練,得到融合參數,包括:
6.根據權利要求5所述的分布式系統的數據融合方法,其特征在于,所述將所述池化模態數據輸入數...
【專利技術屬性】
技術研發人員:趙健,紀雯,藍湘源,王耀威,蔣冬梅,
申請(專利權)人:鵬城實驗室,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。