【技術實現步驟摘要】
本專利技術屬于異構聯邦學習優化領域，具體涉及一種基于資源約束的異構聯邦學習優化方法及系統。
技術介紹
1、自谷歌提出聯邦學習(fl)以來，這個分布式學習框架成為了一個熱門研究方向。聯邦學習的提出使得不同設備在保護自身隱私數據的前提下進行知識協作。在如今注重隱私保護的互聯網環境下，聯邦學習一定程度上緩解了數據孤島現象，并增強了模型的泛化性能。
2、fl不是在集中式服務器上收集數據，而是支持分布式模型訓練。經典的fl框架會進行多輪的通信和訓練，在每一輪通信中，客戶端從服務器獲取全局模型，使用本地的數據集進行本地訓練。在完成本地訓練后，客戶端將模型參數梯度返回給中心服務器，中心服務器結合這些梯度來完善全局模型。這個過程會重復進行直到達到目標準確率為止。原始數據在訓練過程中不離開客戶端，fl能夠有效保護數據隱私，并減輕無線通信的負擔。
3、在整個fl系統中，隨著移動設備的增多和發展，移動設備的性能差異也變得越來越大，希望聯邦學習的全局模型在準確率、訓練時間上有足夠提升。到目前為止，許多研究和努力被用來提升fl的性能，包括提升模型準確率、降低通信成本或最小化訓練延遲。大多數fl方案是在同步條件下運行的，同步聚合方式是指中心服務器需要等待所有或指定數量的客戶端完成本地訓練并上傳參數后再進行全局模型的聚合。這種方法每一輪訓練的時間依賴于最慢的客戶端，會大大延長每輪通信的持續時間。考慮到客戶端的硬件和網絡條件，訓練時間的差異會變得更大。一些訓練能力有限或網絡條件差的客戶端會減慢fl訓練，造成掉隊問題。
4、為
5、解決掉隊問題的另一類策略時根據客戶端的訓練效率來為客戶端分配客制化和多樣化的訓練強度。具體來說，對于訓練效率有限的客戶端，服務器會分配更少的局部訓練強度(即本地訓練迭代次數)，對于效率更高的客戶端，可以分配更多的局部訓練強度。這種方法的目的是使所有客戶端的訓練時間更接近，減少服務器的等待時延。但是，訓練強度的差異會造成客戶端的不公平，客戶端也缺乏參與的動機。為了激勵客戶端參與，fl任務的發起者會向參與者提供金錢獎勵來鼓勵客戶端參與。大多數工作都假設每輪訓練的預算是有限制的。但在大部分情況下，預算通常是在整個訓練過程受到約束，而不是一輪中受約束。需要將關注點放到訓練的全局預算分配上。
6、現有一項研究amble提出了一種自適應方法(amble：adjusting?mini-batch?andlocal?epoch?for?federated?learning?with?heterogeneous?devices?juwon?park，daegun?yoon，sangho?yeo，sangyoon?0h)，動態調整訓練的小批量大小和本地迭代次數，采用線性學習率縮放策略來確保梯度更新的平衡性，提升模型收斂速度和準確率。但該項技術的局限性在于它僅考慮了設備的性能，沒有考慮預算限制和客戶端的能耗，這對參與者來說缺乏激勵。
技術實現思路
1、本專利技術的主要目的在于克服現有技術中的上述缺陷，提出一種基于資源約束的異構聯邦學習優化方法，用于在計算資源預算約束范圍內，在客戶端異構性的基礎上考慮全局預算和單輪預算的分配，優化異構設備的聯邦學習模型。該方法考慮了客戶端在計算和通信能力上的硬件、網絡差異，能夠最小化fl任務中的全局模型損失和訓練時延，并將全局預算分配到合適的訓練輪中。
2、本專利技術至少通過如下技術方案之一實現。
3、一種基于資源約束的異構聯邦學習優化方法，包括如下步驟：
4、s1、確定參數服務器任務，初始化聯邦學習的全局模型參數和深度強化學習模型；
5、s2、采用深度強化學習模型學習優化任務信息，采用近端策略優化算法對深度強化學習模型進行訓練；
6、s3、參數服務器通過深度強化學習模型輸出參與訓練客戶端的總訓練強度，根據確定性算法分配各參與訓練客戶端的訓練強度；
7、s4、客戶端通過本地數據進行訓練，將訓練好的本地模型參數更新傳到參數服務器，并將深度強化學習模型的信息狀態傳到參數服務器；
8、s5、參數服務器根據歷史信息對深度強化學習模型進行更新，并聚合各客戶端上傳的參數，進行全局模型更新。
9、進一步地，在步驟s1中，聯邦學習的客戶端硬件設置，具體包括：
10、定義一組客戶端c＝{c1，c2，...，ci，...，cn}，假設第i個客戶端ci每次本地訓練迭代的計算時間ti,cmp為：
11、
12、其中表示第i個客戶端ci在第k個訓練輪的cpu循環頻率，μi表示cpu執行1比特訓練數據的cpu循環次數，bi表示一個本地訓練迭代次數所需要的比特數；cn表示第n個客戶端；
13、客戶端的通信時間包括下載全局模型的時間和上傳本地模型參數更新的時間，僅考慮上傳時間作為通信時間，則第k個訓練輪客戶端ci的通信時間為：
14、
15、其中ξ表示客戶端本地模型參數的大小，表示通訊帶寬；
16、客戶端ci在第k個訓練輪的訓練時間為：
17、
18、其中，表示客戶端ci在第k個訓練輪的訓練迭代次數，則第k輪的訓練時間tk為：
19、
20、其中ck表示第k個訓練輪被服務器選中參與訓練的客戶端集合。
21、進一步地，在步驟s1中，聯邦學習的服務器訓練任務具體包括：
22、服務器接收和更新客戶端的模型參數，并進行聚合，客戶端ci的本地模型損失函數值fi(w)為：
23、
24、其中來表示客戶端ci在本地數據集di上第j個樣例的損失函數，w表示聯邦學習的全局模型的參數，全局模型的損失函數定義為：
25、
26、定義訓練任務目標為：
27、
28、其中k表示聯邦學習訓練的總輪數，wk表示第k輪全局模型的模型參數，f(wk)表示第k輪全局模型的訓練損失函數值，bk表示在第k個訓練輪用于激勵客戶端參與訓練的預算，tk表示第k輪的訓練時間；
29、約束限制：
30、
31、其中為客戶端ci在第k個訓練輪一次本地訓練迭代消耗的計算資源預算補償，表示聯邦學習任務的全局預算，表示正整數，表示客戶端ci在第k個訓練輪的訓練迭代次數，客戶端ci在第k個訓練輪的訓練時間，ck表示第k個訓練輪被服務器選中參與訓練的客戶端集合。
32、進一步地，步驟s2中，近端策略優化算法是收集策略πk′＝π(θk′)的部分軌跡集合，然后使用優勢估計算法學習優勢，其中θk′表示深度強化學習模型的策略網絡在訓練的第本文檔來自技高網...
【技術保護點】
1.一種基于資源約束的異構聯邦學習優化方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于資源約束的異構聯邦學習優化方法，其特征在于，在步驟S1中，聯邦學習的客戶端硬件設置，具體包括：
3.根據權利要求1所述的一種基于資源約束的異構聯邦學習優化方法，其特征在于，在步驟S1中，聯邦學習的服務器訓練任務具體包括：
4.根據權利要求1所述的一種基于資源約束的異構聯邦學習優化方法，其特征在于，步驟S2中，近端策略優化算法是收集策略πk′＝π(θk′)的部分軌跡集合，然后使用優勢估計算法學習優勢，其中θk′表示深度強化學習模型的策略網絡在訓練的第k′步的網絡參數，πk′和π(θk′)表示在第k′步策略網絡的策略；
5.根據權利要求1所述的一種基于資源約束的異構聯邦學習優化方法，其特征在于，深度強化學習模型的狀態、動作、獎勵信息如下：
6.根據權利要求1所述的一種基于資源約束的異構聯邦學習優化方法，其特征在于，在深度強化學習模型輸出一輪的總訓練強度后，通過確定性算法分配到各個客戶端，確定性算法的優化目標為：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。