云邊端協同學習系統及方法技術方案

本發明專利技術公開了一種云邊端協同學習系統包括：用戶設備層、邊緣服務器層以及云服務器層；云服務器層用于控制云服務器將來自邊緣服務器的局部模型聚合為全局模型，根據全局精度判斷結果廣播全局模型；邊緣服務器層用于控制邊緣服務器接收來自云服務器的全局模型，并將其作為局部模型廣播給用戶設備；用戶設備層用于控制用戶設備對接收到的局部模型進行訓練得到本地模型，邊緣服務器層還用于對接收到的本地模型進行聚合，并將聚合后的模型作為局部模型，判斷該局部模型的局部精度，若局部精度滿足要求，則將該局部模型上傳至云服務器進行聚合，否則將該局部模型返回給邊緣服務器繼續訓練直到滿足要求為止，本發明專利技術能夠大幅提高學習效率。效率。效率。

【技術實現步驟摘要】
云邊端協同學習系統及方法


[0001]本專利技術屬于機器學習
，尤其涉及一種云邊端協同學習系統及方法。

技術介紹

[0002]隨著物聯網設備數量的顯著增長，邊緣網絡產生的數據量也急速增長。這些數據中的大部分在本質上都是隱私敏感的，處理和分析這些數據需要機器學習算法。傳統的機器學習算法需要一個中央處理器，用于收集數據來進行模型訓練。但是，由于數據的隱私安全性，用戶設備可能并不愿意共享其本地數據。針對這個問題，一種分布式機器學習算法——聯邦學習（Federated Learning，FL）應運而生，其通過將機器學習的數據存儲和模型訓練階段轉移至本地用戶，僅與中心服務器交互模型更新的方式有效保障了用戶的隱私安全。
[0003]現有的聯邦學習由一個云服務器進行模型聚合、更新模型。首先，在在無線網絡上實現FL時，相比于云服務器，用戶設備的性能較差，當學習任務復雜、局部模型大時，計算資源有限的訓練會增加訓練延遲、降低學習性能。其次，由于無線資源有限、傳輸距離長，存在與云服務器的通信不可預測且不可靠等問題，會降低訓練效率和模型精度，在用戶設備數量巨大的情況下，不采用客戶端調度，所有用戶設備都參與每輪訓練，將難以實現探索和利用之間的平衡。最后，在現有的模型訓練過程中，難以實現動態化決定局部訓練輪數和全局訓練輪數，迭代次數是提前設置完成的，這會導致模型訓練的效率降低與計算資源的浪費。

技術實現思路

[0004]為了解決現有技術存在的問題，本專利技術提供一種云邊端協同學習系統及方法，能夠通過云、邊端協同學習提高學習效率。
[0005]本專利技術所要解決的技術問題是通過以下技術方案實現的：第一方面，提供了一種云邊端協同學習系統，包括：用戶設備層、邊緣服務器層以及云服務器層；所述云服務器層用于控制云服務器將來自邊緣服務器的局部模型聚合為全局模型，并對全局模型的全局精度進行判斷，再根據判斷結果決定是否向邊緣服務器廣播全局模型；所述邊緣服務器層用于控制邊緣服務器接收來自云服務器的全局模型，并將其作為局部模型廣播給用戶設備；所述用戶設備層用于控制用戶設備對接收到的局部模型進行訓練得到本地模型，再將本地模型上傳至邊緣服務器；所述邊緣服務器層還用于控制邊緣服務器對接收到的本地模型進行聚合，并將聚合后的模型作為局部模型，判斷該局部模型的局部精度，若局部精度滿足要求，則將該局部模型上傳至云服務器進行聚合，否則將該局部模型返回給邊緣服務器繼續訓練直到局部精度滿足要求為止。
[0006]結合第一方面，進一步的，所述云服務器層包含云接收模塊、全局聚合模塊、全局精度判斷模塊以及云發送模塊；所述云接收模塊用于接收和存儲邊緣服務器層發送的局部模型；所述全局聚合模塊用于將接收的局部模型進行全局聚合, 更新全局模型；所述全局精度判斷模塊用于判斷聚合后的全局模型是否滿足全局精度要求；所述云發送模塊用于向邊緣服務器層發送全局模型。
[0007]結合第一方面，進一步的，所述邊緣服務器層包括：用戶設備選擇模塊、邊緣接收模塊、局部聚合模塊、局部精度判斷模塊以及邊緣發送模塊；所述用戶設備選擇模塊用于從用戶設備層中選取相應的用戶設備構成用戶設備子集；所述邊緣接收模塊用于接收和存儲云服務器廣播的全局模型、自身的局部模型以及以及所選取的用戶設備子集中的用戶設備發送來的本地模型；所述局部聚合模塊用于將接收到的本地模型進行局部聚合，更新之前的局部模型；所述局部精度判斷模塊用于判斷局部模型是否滿足局部精度要求；所述邊緣發送模塊用于向云服務器層和用戶設備層發送局部模型。
[0008]結合第一方面，進一步的，所述用戶設備層包括：本地接收模塊、本地訓練模塊以及本地發送模塊；所述本地接收模塊用于接收邊緣服務器廣播的局部模型；所述本地訓練模塊用于根據用戶設備數據對局部模型進行訓練，并將訓練后的局部模型更新為本地模型；本地發送模塊要用于將本地模型發送至邊緣服務器層進行局部聚合。
[0009]第二方面，提供了一種云邊端協同學習方法，包括：云服務器向各邊緣服務器廣播全局模型；邊緣服務器將接收到的全局模型作為局部模型向各用戶設備廣播；用戶設備基于自身數據對收到的局部模型進行訓練得到本地模型并將本地模型上傳至邊緣服務器；邊緣服務器對接收到的本地模型進行聚合，并將聚合后的模型作為局部模型，判斷該局部模型的局部精度，若局部精度滿足要求，則將該局部模型上傳至云服務器進行聚合，若局部精度不滿足要求則將該局部模型返回給邊緣服務器繼續訓練直到局部精度滿足要求為止；云服務器對收到的局部模型進行聚合得到新全局模型，判斷該新全局模型的全局精度，若全局精度滿足要求則結束模型訓練，若該新全局模型的全局精度不滿足要求，則將該新全局模型廣播到各邊緣服務器，各邊緣服務器將該新全局模型作為局部模型廣播到各用戶設備重新訓練，直到新的全局模型的全局精度滿足要求為止。
[0010]結合第二方面，進一步的，邊緣服務器對接收到的本地模型進行聚合前采用多臂老虎機的客戶端調度方案從接收到的本地模型中選擇部分本地模型用于后續的聚合。
[0011]結合第二方面，進一步的，局部精度要求如下式所示：
；其中， 表示第個邊緣服務器的局部模型的損失函數，表示第個用戶設備第輪訓練的模型參數，為局部精度標準。
[0012]結合第二方面，進一步的，全局精度要求如下式所示：；其中，表示全局模型的損失函數，表示第個邊緣服務器的局部模型第輪訓練的參數，表示全局精度標準。
[0013]本專利技術有益效果：本專利技術構建了云邊端協同的FL分層架構，利用邊緣服務器與云服務器相比于用戶設備的高性能通信與計算優勢，實現低延時模型訓練。
[0014]本專利技術通過采用客戶端調度方案（多臂老虎機），同時減少了訓練周期和每個周期的時間間隔，實現最小化無線分層FL系統的訓練潛伏期。
[0015]本專利技術通過分別設置局部精度和全局精度，用以決定局部訓練輪數和全局訓練輪數，使迭代次數動態化，提高模型訓練的精度和效率。
附圖說明
[0016]圖1為本專利技術中云邊端協同學習系統的結構示意圖；圖2為本專利技術中云邊端協同學習系統的分層架構示意圖；圖3為本專利技術中云邊端協同學習方法的流程圖。
具體實施方式
[0017]為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合附圖對本專利技術的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。
[0018]為了更好地理解本專利技術，下面對本專利技術技術方案中的相關技術進行說明。
[0019]實施例1：
[0020]如圖1和圖2所示，在本實施例中，本專利技術提供了一種云邊端協同學習系統包括用戶設備層、邊緣服務器層以及云服務器層，三層之間通過無線網絡通信全面連接。在本專利技術中，我們假設整個系統有一個云服務器，個邊緣服務器以及個用戶設備，在學習訓練的過程中，每個邊緣服務器對應的范圍內有個用戶設備，用戶設備層、邊緣服務本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種云邊端協同學習系統，其特征在于，包括：用戶設備層、邊緣服務器層以及云服務器層；所述云服務器層用于控制云服務器將來自邊緣服務器的局部模型聚合為全局模型，并對全局模型的全局精度進行判斷，再根據判斷結果決定是否向邊緣服務器廣播全局模型；所述邊緣服務器層用于控制邊緣服務器接收來自云服務器的全局模型，并將其作為局部模型廣播給用戶設備；所述用戶設備層用于控制用戶設備對接收到的局部模型進行訓練得到本地模型，再將本地模型上傳至邊緣服務器；所述邊緣服務器層還用于控制邊緣服務器對接收到的本地模型進行聚合，并將聚合后的模型作為局部模型，判斷該局部模型的局部精度，若局部精度滿足要求，則將該局部模型上傳至云服務器進行聚合，否則將該局部模型返回給邊緣服務器繼續訓練直到局部精度滿足要求為止。2.根據權利要求1所述的一種云邊端協同學習系統，其特征在于，所述云服務器層包含云接收模塊、全局聚合模塊、全局精度判斷模塊以及云發送模塊；所述云接收模塊用于接收和存儲邊緣服務器層發送的局部模型；所述全局聚合模塊用于將接收的局部模型進行全局聚合, 更新全局模型；所述全局精度判斷模塊用于判斷聚合后的全局模型是否滿足全局精度要求；所述云發送模塊用于向邊緣服務器層發送全局模型。3.根據權利要求1所述的一種云邊端協同學習系統，其特征在于，所述邊緣服務器層包括：用戶設備選擇模塊、邊緣接收模塊、局部聚合模塊、局部精度判斷模塊以及邊緣發送模塊；所述用戶設備選擇模塊用于從用戶設備層中選取相應的用戶設備構成用戶設備子集；所述邊緣接收模塊用于接收和存儲云服務器廣播的全局模型、自身的局部模型以及以及所選取的用戶設備子集中的用戶設備發送來的本地模型；所述局部聚合模塊用于將接收到的本地模型進行局部聚合，更新之前的局部模型；所述局部精度判斷模塊用于判斷局部模型是否滿足局部精度要求；所述邊緣發送模塊用于向云服務器層和用戶設備層發送局部模型。4.根據權利要求1所述的...

【專利技術屬性】
技術研發人員：郭永安，王國成，王宇翱，孫洪波，
申請(專利權)人：邊緣智能研究院南京有限公司，
類型：發明
國別省市：