集群設備批量傳輸數據的方法、裝置及系統、服務器制造方法及圖紙

本申請公開一種集群設備批量傳輸數據的方法、裝置及系統、服務器，該方法包括：1)通過所述源服務器執行自身儲存的所述傳輸程序；2)根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序；3)通過收到所述待傳數據和所述傳輸程序的目標服務器執行接收的所述傳輸程序；重復步驟2)?3)，直到將所述待傳數據逐層分發至每個目標服務器。本發明專利技術采用多級復制分發數據的方法，使源服務器和目標服務器之間的負載壓力平衡，大幅提升了服務器之間復制分發文件的效率。

【技術實現步驟摘要】

本公開涉及集群設備傳輸數據的技術，特別涉及一種集群設備批量傳輸數據的方法、裝置及系統、服務器。
技術介紹
在通信系統中，有一種應用網絡設備的技術，如應用以太網交換機設備的技術，該技術將多臺網絡設備互相連接，形成一個集群設備組。如今，大數據技術已經得到了廣泛的應用。許多互聯網公司擁有數千臺甚至更多服務器組成的集群。集群中每臺服務器的軟件和配置文件通常需要保持一致，經常需要將文件復制分發到集群中所有服務器上。怎樣高效的將文件復制分發到集群中的各個服務器，這對集群的管理帶來了挑戰。目前將文件復制分發到集群中的各個服務器主要采用以下兩種方案：方案1：順序復制，將主服務器的文件按順序依次復制到目標服務器。由于操作簡單，適合在服務器數量少的時候使用。方案2：并行復制，在主服務器同時發起多個復制操作，并行向目標服務器復制文件。此方法比順序復制速度快，當服務器數量較多的時候通常使用此方法。然而，對于順序復制，文件復制分發速度慢。復制文件到某一臺目標服務器時，其他目標服務器都在等待。主服務器和目標服務器的資源利用率都很低。對于并行復制，文件復制分發速度較慢。由于主服務器同時向多臺目標服務器復制文件，因此主服務器非常繁忙，硬件資源迅速耗盡，結果主服務器只能同時向部分目標服務器復制文件，其他目標服務器仍然空閑。目標服務器的資源利用率很低。
技術實現思路
本公開提供一種集群設備批量傳輸數據的方法、裝置及系統、服務器，能夠提高服務器間復制分發文件的速度，降低源服務器的壓力，提高目標服務器的資源利用率。根據本公開的一方面，提供一種集群設備批量傳輸數據的方法，所述集群設備包括至少一源服務器和多個目標服務器，所述源服務器存儲有待傳數據和傳輸程序，所述方法包括：1)通過所述源服務器執行自身儲存的所述傳輸程序；2)根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序；3)通過收到所述待傳數據和所述傳輸程序的目標服務器執行接收的所述傳輸程序；4)重復步驟2)-3)，直到將所述待傳數據逐層分發至每個目標服務器。在本公開的一種示例性實施例中，還包括：在所述源服務器執行自身儲存的所述傳輸程序之后，創建包括所述多個目標服務器的目標服務器列表。在本公開的一種示例性實施例中，根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序包括：從所述目標服務器列表中選取所述預定數量的目標服務器；創建包括所述預定數量的目標服務器的當前服務器列表；更新目標服務器列表中目標服務器的數量；向當前服務器列表中的目標服務器傳輸所述待傳數據、傳輸程序和更新的目標服務器列表。在本公開的一種示例性實施例中，所述待傳數據包括待傳文件和待傳文件目錄。根據本公開的一個方面，提供一種集群設備批量傳輸數據的裝置，所述裝置包括：選取模塊，用于從目標服務器列表中選取預定數量的目標服務器；第一創建模塊，用于創建包括所述預定數量的目標服務器的當前服務器列表；更新模塊，用于更新目標服務器列表中目標服務器的數量；傳輸模塊，用于向當前服務器列表中的目標服務器傳輸待傳數據、批量傳輸數據的裝置副本和更新的目標服務器列表。在本公開的一種示例性實施例中，還包括：第二創建模塊，用于創建包括所述多個目標服務器的目標服務器列表。在本公開的一種示例性實施例中，所述更新模塊包括：減法單元，從目標服務器列表中祛除選取的目標服務器，得到第一數量的目標服務器；除法單元，將所述第一數量的目標服務器除以當前服務器列表中第二數量的服務器，更新單元，根據除法單元的計算結果得到更新目標服務器列表中目標服務器的數量。在本公開的一種示例性實施例中，所述待傳數據包括待傳文件和待傳文件目錄。根據本公開的一個方面，提供一種集群設備服務器，包括：處理器；用于存儲待傳數據和處理器可執行指令的存儲器；其中，所述處理器被配置為：從目標服務器列表中選取預定數量的目標服務器；創建包括所述預定數量的目標服務器的當前服務器列表；更新目標服務器列表中目標服務器的數量；向當前服務器列表中的目標服務器傳輸待傳數據、傳輸程序和更新的目標服務器列表。根據本公開的一個方面，提供一種集群設備批量傳輸數據的系統，包括：源服務器，包括：處理器；用于存儲待傳數據和傳輸程序的存儲器；其中，所述源服務器的處理器被配置為：從目標服務器列表中選取預定數量的目標服務器；創建包括所述預定數量的目標服務器的當前服務器列表；更新目標服務器列表中目標服務器的數量；向當前服務器列表中的目標服務器傳輸所述待傳數據、傳輸程序和更新的目標服務器列表；多個目標服務器，每個目標服務器包括：處理器；用于接收所述待傳數據、傳輸程序和更新的目標服務器列表的存儲器；其中，所述目標服務器的處理器執行所述傳輸程序，根據所述傳輸程序的配置，將所述待傳數據以遞歸方式逐級分發至所有目標服務器。本專利技術采用多級復制分發數據的方法，使源服務器和目標服務器之間的負載壓力平衡，大幅提升了服務器之間復制分發文件的效率。此外，服務器的分級以及數據傳輸均可通過傳輸程序自動執行，操作非常簡單，節省了人力資源。應當理解的是，以上的一般描述和后文的細節描述僅是示例性的，并不能限制本公開。附圖說明通過參照附圖詳細描述其示例實施例，本公開的上述和其它目標、特征及優點將變得更加顯而易見。圖1示意性示出根據本公開示例實施方式的集群設備批量傳輸數據的方法的流程圖；圖2示意性示出根據本公開示例實施方式的傳輸程序的流程圖；圖3為示意性示出根據本公開實際實施方式的集群設備批量傳輸數據的系統架構圖。圖4示意性示出根據本公開示例實施方式的集群設備批量傳輸數據的裝置結構框圖。具體實施方式現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限于在此闡述的范例；相反，提供這些實施方式使得本公開將更加全面和完整，并將示例實施方式的構思全面地傳達給本領域的技術人員。附圖僅為本公開的示意性圖解，并非一定是按比例繪制。圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重復描述。此外，所描述的特征、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。在下面的描述中，提供許多具體細節從而給出對本公開的實施方式的充分理解。然而，本領域技術人員將意識到，可以實踐本公開的技術方案而省略所述特定細節中的一個或更多，或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知結構、方法、裝置、實現、材料或者操作以避免喧賓奪主而使得本公開的各方面變得模糊。附圖中所示的一些方框圖是功能實體，不一定必須與物理或邏輯上獨立的實體相對應。可以采用軟件形式來實現這些功能實體，或在一個或多個硬件模塊或集成電路中實現這些功能實體，或在不同網絡和/或處理器裝置和/或微控制器裝置中實現這些功能實體。圖1示意性示出根據本公開示例實施方式的集群設備批量傳輸數據的方法的流程圖。所述源服務器存儲有待傳數據和傳輸程序。如圖1所示，集群設備批量傳輸數據的方法，包括如下步驟：步驟S110：通過所述源服務器執行自身儲存的所述傳輸程序。在步驟S110中，源服務器響應用戶發送的批量復制待傳數據的請求，執行源服務器中儲存的傳輸程序。源服務器執行傳輸程序，以控制向目標本文檔來自技高網...

【技術保護點】
一種集群設備批量傳輸數據的方法，所述集群設備包括至少一源服務器和多個目標服務器，其特征在于，所述源服務器存儲有待傳數據和傳輸程序，所述方法包括：1)通過所述源服務器執行自身儲存的所述傳輸程序；2)根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序；3)通過收到所述待傳數據和所述傳輸程序的目標服務器執行接收的所述傳輸程序；4)重復步驟2)?3)，直到將所述待傳數據逐層分發至每個目標服務器。

【技術特征摘要】
1.一種集群設備批量傳輸數據的方法，所述集群設備包括至少一源服務器和多個目標服務器，其特征在于，所述源服務器存儲有待傳數據和傳輸程序，所述方法包括：1)通過所述源服務器執行自身儲存的所述傳輸程序；2)根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序；3)通過收到所述待傳數據和所述傳輸程序的目標服務器執行接收的所述傳輸程序；4)重復步驟2)-3)，直到將所述待傳數據逐層分發至每個目標服務器。2.如權利要求1所述的集群設備批量傳輸數據的方法，其特征在于，還包括：在所述源服務器執行自身儲存的所述傳輸程序之后，創建包括所述多個目標服務器的目標服務器列表。3.如權利要求2所述的集群設備批量傳輸數據的方法，其特征在于，根據所述傳輸程序的配置，向所述多個目標服務器中預定數量的目標服務器傳輸所述待傳數據和所述傳輸程序包括：從所述目標服務器列表中選取所述預定數量的目標服務器；創建包括所述預定數量的目標服務器的當前服務器列表；更新目標服務器列表中目標服務器的數量；向當前服務器列表中的目標服務器傳輸所述待傳數據、傳輸程序和更新的目標服務器列表。4.如權利要求1所述的集群設備批量傳輸數據的方法，其特征在于，所述待傳數據包括待傳文件和待傳文件目錄。5.一種集群設備批量傳輸數據的裝置，其特征在于，所述裝置包括：選取模塊，用于從目標服務器列表中選取預定數量的目標服務器；第一創建模塊，用于創建包括所述預定數量的目標服務器的當前服務器列表；更新模塊，用于更新目標服務器列表中目標服務器的數量；傳輸模塊，用于向當前服務器列表中的目標服務器傳輸待傳數據、批量傳輸數據的裝置副本和更新的目標服務器列表。6.如權利要...

【專利技術屬性】
技術研發人員：張楠，彭興勃，
申請(專利權)人：北京京東尚科信息技術有限公司，北京京東世紀貿易有限公司，
類型：發明
國別省市：北京;11