用于在云系統中進行資源調度的方法和裝置制造方法及圖紙

本發明專利技術的目的是提供一種用于在云系統中進行資源調度的方法和裝置。根據本發明專利技術的方法包括以下步驟：根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級；?在需要進行資源調度時，確定當前作業任務相對應的調度算法；?基于所述調度算法和當前可用的各個計算資源的資源優先級，進行資源分配。與現有技術相比，本發明專利技術具有以下優點：通過對計算資源的優先級進行細分并支持多種調度算法，從而基于多樣化的調度算法和資源優先級來進行資源調度，提高了資源調度的靈活性，提升了資源利用率和系統吞吐量。

【技術實現步驟摘要】
用于在云系統中進行資源調度的方法和裝置
本專利技術涉及計算機
，尤其涉及一種用于在云系統中進行資源調度的方法和裝置。
技術介紹
隨著信息技術的發展，云計算已經滲透到不同計算領域的各個方面。由于存在數據本地共享和資源錯峰運行的需求，不同的計算框架越來越有統一到一個PaaS(PlatformasaService)平臺的趨勢。基于現有技術的方案，云系統中的調度器在確定計算資源的優先級時一般僅僅描述資源量的大小，而并未對于不同的機器計算能力和穩定性進行描述，并且，基于現有技術的調度器一般僅支持一種調度算法，并基于該調度算法來進行資源分配。在將不同的計算框架進行混合部署(以下簡稱“混部”)的情況下，對調度器具有以下要求：1)不同的機器計算能力和穩定性不同，需要為不同機器資源的計算效率進行分類，比如獨占磁盤和共享磁盤(或者單盤)，萬兆網卡和千兆網卡等分類類型；2)需要為不同的作為任務制定不同的調度算法。比如MPI作業使用BestFit分配算法，MR和大多數分批處理作業使用NextFit或者WorstFit分配算法。3)需要對不同延遲敏感度作業的使用的資源級別進行區分：比如高優先級的MR(MapReduce)作業需要使用優先級較高的資源防止單機上運行避讓率過高導致作業不穩定。而基于現有技術的方案由于支持單一的調度算法和機器資源描述方式，無法滿足上述要求。
技術實現思路
本專利技術的目的是提供一種用于在云系統中進行資源調度的方法和裝置。根據本專利技術的一個方面，提供了一種用于在云系統中進行資源調度的方法，其中，所述方法包括以下步驟：-根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級；其中，所述方法包括以下步驟：-在需要進行資源調度時，確定當前作業任務相對應的調度算法；-基于所述調度算法和當前可用的各個計算資源的資源優先級，進行資源分配。根據本專利技術的一個方面，提供了一種用于在云系統中進行資源調度的調度裝置，其中，所述調度裝置包括：用于根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級的裝置；其中，所述調度裝置包括：用于在需要進行資源調度時，確定當前作業任務相對應的調度算法的裝置；用于基于所述調度算法和當前可用的各個計算資源的資源優先級，進行資源分配的裝置。與現有技術相比，本專利技術具有以下優點：通過對計算資源的優先級進行細分并支持多種調度算法，從而基于多樣化的調度算法和資源優先級來進行資源調度，提高了資源調度的靈活性，提升了資源利用率和系統吞吐量；并且，在不同的計算框架進行混合部署的情況下，可分別在不同的計算框架中基于特定的調度算法來進行資源調度，以滿足多種調度需求；并且，通過與遠程調度裝置的交互來進行資源調度，方便用戶使用特殊的調度算法來進行資源調度，進一步提升了資源調度的靈活性。附圖說明通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本專利技術的其它特征、目的和優點將會變得更明顯：圖1示意出了根據本專利技術的一種用于在云系統中進行資源調度的方法流程圖；圖2示意出了根據本專利技術的一種用于在云系統中進行資源調度的調度裝置的結構示意圖。附圖中相同或相似的附圖標記代表相同或相似的部件。具體實施方式下面結合附圖對本專利技術作進一步詳細描述。圖1示意出了根據本專利技術的一種用于在云系統中進行資源調度的方法流程圖。根據本專利技術的方法包括步驟S1、步驟S2和步驟S3。其中，根據本專利技術的方法通過包含于計算機設備中的調度裝置來實現。所述計算機設備包括一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或信息處理的電子設備，其硬件包括但不限于微處理器、專用集成電路(ASIC)、可編程門陣列(FPGA)、數字處理器(DSP)、嵌入式設備等。所述計算機設備包括網絡設備。其中，所述網絡設備包括但不限于單個網絡服務器、多個網絡服務器組成的服務器組或基于云計算(CloudComputing)的由大量主機或網絡服務器構成的云，其中，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。優選地，所述調度裝置用于對云系統中的計算資源進行調度。其中，所述用戶設備及網絡設備所處的網絡包括但不限于互聯網、廣域網、城域網、局域網、VPN網絡等。需要說明的是，所述用戶設備、網絡設備以及網絡僅為舉例，其他現有的或今后可能出現的用戶設備、網絡設備以及網絡如可適用于本專利技術，也應包含在本專利技術保護范圍以內，并以引用方式包含于此。參照圖1，在步驟S1中，調度裝置根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級。其中，所述計算資源包括各種可在云系統中進行作業的機器或設備。優選地，根據本專利技術的方法先通過執行步驟S4(圖未示)來確定云系統所采用的資源優先級。在步驟S4中，調度裝置根據計算資源的穩定性，將計算資源分為穩定和不穩定兩個等級，并對于該兩個等級繼續進行分類，以得到分別對應于穩定和不穩定的多個資源優先級。其中，計算資源的穩定性用于指示計算資源的運行效率，計算資源的運行效率越高其資源優先級越高。在步驟S1中，調度裝置根據云系統所采用的資源優先級，并基于用于指示計算資源的穩定性的相關數據，來確定各個計算資源各自的資源優先級。其中，調度裝置可獲取各種可反映計算資源的穩定性的數據，諸如設備硬件規格或統計得到的計算速度等等，本領域技術人員可基于實際需求選擇合適的數據。根據本專利技術的第一示例，調度裝置包含于云系統的調度器中。調度裝置基于用于指示計算穩定性的相關數據，將資源分成穩定“STABLE”和不穩定“UNSTABLE”兩個等級，并對STABLE和UNSTABL兩個等級繼續按照穩定性的程度分別細分為三個等級，從而得調度裝置所采用的6個資源優先級：對應于“STABLE”的STABLE_P0、STABLE_P1、STABLE_P2，以及對應于“UNSTABLE”的UNSTABLE_P0、UNSTABLE_P1、UNSTABLE_P2，其中優先級順序按P2、P1、P0依次遞增，則該6個資源優先級按照由高到低的排序為：STABLE_P0>STABLE_P1>STABLE_P2>UNSTABLE_P0>UNSTABLE_P1>UNSTABLE_P2。調度裝置基于該6個資源優先級確定各個計算資源各自的資源優先級。需要說明的是，上述舉例僅為更好地說明本專利技術的技術方案，而非對本專利技術的限制，本領域技術人員應該理解，任何根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級的實現方式，均應包含在本專利技術的范圍內。優選地，調度裝置還可基于計算資源所執行的作業任務的優先級來確定計算資源的資源優先級，使得作業優先級越高對應的計算資源的資源優先級越高。繼續參照圖1進行說明，在步驟S2中，在需要進行資源調度時，調度裝置確定當前作業任務相對應的調度算法。其中，所述調度算法包括各種用于基于特定的調度需求來對計算資源進行調度的算法。具體地，調度裝置基于預定的多種調度算法和作業任務類型的對應關系，確定當前作業任務相對應的調度算法。優選地，調度裝置基于與當前作業任務對應的調度需求，確定該作業任務相對應的調度算法。例如，MPI作業需要BestFit分配算法以盡量騰出較大的空間來放下一個計算資源的請求；而對于MR(MapReduce)作業來本文檔來自技高網...

【技術保護點】
一種用于在云系統中進行資源調度的方法，其中，所述方法包括以下步驟：?根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級；其中，所述方法包括以下步驟：?在需要進行資源調度時，確定當前作業任務相對應的調度算法；?基于所述調度算法和當前可用的各個計算資源的資源優先級，進行資源分配。

【技術特征摘要】
1.一種用于在云系統中進行資源調度的方法，其中，所述方法包括以下步驟：-根據云系統中計算資源的穩定性，確定各個計算資源各自的資源優先級；其中，所述方法包括以下步驟：-在需要進行資源調度時，確定當前作業任務相對應的調度算法；-基于所述調度算法和當前可用的各個計算資源的資源優先級，進行資源分配。2.根據權利要求1所述的方法，其中，所述方法包括以下步驟：-根據計算資源的穩定性，將計算資源分為穩定和不穩定兩個等級，并對于該兩個等級繼續進行分類，以得到分別對應于穩定和不穩定的多個資源優先級。3.根據權利要求1所述的方法，其中，所述在需要進行資源調度時，確定當前作業任務相對應的調度算法的步驟包括以下步驟：-基于與當前作業任務對應的調度需求，確定該作業任務相對應的調度算法。4.根據權利要求1所述的方法，其中，所述方法包括以下步驟：-將屬于不穩定等級的計算資源中待執行的一項或多項作業任務預先備份至其他屬于穩定等級的計算資源中執行。5.根據權利要求1所述的方法，其中，不同的計算框架混合部署于所述云計算系統，所述方法包括以下步驟：-分別確定對應于各個計算框架的資源調度規則，其中，所述資源調度規則用于指示多種作業任務各自所采用的調度算法；-在需要進行資源調度時，分別在不同的計算框架中基于其各自的資源調度對規則和當前可用的各個計算資源的資源優先級進行資源分配。6.根據權利要求1所述的方法，其中，所述方法包括以下步驟：-將可用計算資源的資源相關信息和作業信息發送至遠程調度裝置；-接收所述遠程調度裝置反饋的調度結果信息，以基于該調度結果信息進行相應的資源分配。7.一種用于在云系統中進行資...

【專利技術屬性】
技術研發人員：張慕華，孟憲軍，應茹，
申請(專利權)人：北京百度網訊科技有限公司，
類型：發明
國別省市：北京,11