一種作業(yè)調(diào)度方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)實施例公開了一種作業(yè)調(diào)度方法，該方法包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；按照所述排序后的作業(yè)隊列的順序，對所述作業(yè)隊列中的作業(yè)進行調(diào)度處理。這樣，能夠縮短小作業(yè)的響應(yīng)時間，同時防止大作業(yè)產(chǎn)生“饑餓現(xiàn)象”，實現(xiàn)提高作業(yè)調(diào)度效率的目的。

Job scheduling method and device

The embodiment of the invention discloses a scheduling method, the method includes: when idle resources, according to the size of each factor in the job queue operation and the operation of each job in the queue waiting factor calculated for the operation of each job queue in priority, and will work in the job queue the priority for scheduling; according to the sort order of the job queue, the job queue job scheduling process. In this way, the response time of the small jobs can be shortened, and the \starvation\ phenomenon of large jobs can be prevented, so as to improve the efficiency of the operation scheduling.

【技術(shù)實現(xiàn)步驟摘要】
一種作業(yè)調(diào)度方法和裝置
本專利技術(shù)涉及作業(yè)調(diào)度技術(shù)，尤其涉及一種作業(yè)調(diào)度方法和裝置。
技術(shù)介紹
MapReduce是目前使用十分廣泛的一個分布式系統(tǒng)處理框架，用來處理大規(guī)模數(shù)據(jù)。調(diào)度器是MapReduce的一個核心組件，對于整個系統(tǒng)的性能有著非常關(guān)鍵的影響。目前，常見的調(diào)度器有三種：公平調(diào)度器、FIFO調(diào)度器。根據(jù)目前的情況來看，小作業(yè)在負(fù)載中占據(jù)主導(dǎo)地位。比如，在Facebook和Bing的應(yīng)用中，任務(wù)數(shù)量小于10的作業(yè)分別占到了作業(yè)總數(shù)的82％和61％，而在Google，MapReduce作業(yè)的平均執(zhí)行時間為395秒，在Yahoo！的生產(chǎn)型集群中，有超過80％的作業(yè)完成時間小于十分鐘。小作業(yè)的大量增加是因為例如隨機查詢這類小作業(yè)開始越來越多地在MapReduce集群中運行，其中，時延是影響小作業(yè)使用體驗至關(guān)重要的因素。公平調(diào)度器是目前使用最為廣泛的調(diào)度器，公平調(diào)度器的核心思想是盡量使所有用戶和作業(yè)都能夠盡可能獲得‘大致相等’的集群資源份額，由于強調(diào)所有用戶和作業(yè)公平占有資源，所以公平調(diào)度器對交互式小作業(yè)的響應(yīng)時間較長。很多分布式系統(tǒng)都默認(rèn)采用FIFO調(diào)度調(diào)度器，但是FIFO調(diào)度器也存在一些問題，比如作業(yè)容易產(chǎn)生“饑餓現(xiàn)象”、不能適用于多用戶場景等，因此，適用范圍較窄。針對公平調(diào)度器對小作業(yè)的響應(yīng)時間較長的問題，又提出了小作業(yè)優(yōu)先調(diào)度策略。將小作業(yè)優(yōu)先調(diào)度策略與公平調(diào)度策略進行對比測試，由測試結(jié)果可知：采用小作業(yè)優(yōu)先調(diào)度策略的作業(yè)平均響應(yīng)時間比使用公平調(diào)度策略的作業(yè)平均響應(yīng)時間要短，特別是在較大程度上縮短了小作業(yè)的響應(yīng)時間，并且對大作業(yè)的響應(yīng)時間幾乎沒有什么影響。但是，還需要考慮在實際應(yīng)用中，小作業(yè)優(yōu)先策略可能會造成大作業(yè)產(chǎn)生“饑餓現(xiàn)象”，比如在有大作業(yè)存在的情況下，不斷有大量小作業(yè)被提交到MapReduce系統(tǒng)，由于優(yōu)先調(diào)度短作業(yè)，可能會導(dǎo)致大作業(yè)一直不能被調(diào)度處理，從而出現(xiàn)“饑餓現(xiàn)象”。綜上所述，在分布式系統(tǒng)的調(diào)度處理中，如何能在較大程度上縮短小作業(yè)的響應(yīng)時間，同時防止大作業(yè)產(chǎn)生“饑餓現(xiàn)象”是目前待解決的問題。
技術(shù)實現(xiàn)思路
有鑒于此，本專利技術(shù)實施例期望提供一種作業(yè)調(diào)度方法和裝置，能夠縮短小作業(yè)的響應(yīng)時間，同時防止大作業(yè)產(chǎn)生“饑餓現(xiàn)象”，實現(xiàn)提高作業(yè)調(diào)度效率的目的。為達到上述目的，本專利技術(shù)的技術(shù)方案是這樣實現(xiàn)的：第一方面，本專利技術(shù)實施例提供一種作業(yè)調(diào)度方法，所述方法包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；按照所述排序后的作業(yè)隊列的順序，對所述作業(yè)隊列中的作業(yè)進行調(diào)度處理。在上述方案中，所述當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序，包括：當(dāng)出現(xiàn)空閑資源時，按照作業(yè)隊列中每個作業(yè)的任務(wù)處理情況計算所述作業(yè)隊列中每個作業(yè)的大小因子；按照所述作業(yè)隊列中每個作業(yè)前一次調(diào)度的時間計算所述作業(yè)隊列中作業(yè)的等待因子；根據(jù)計算出的所述每個作業(yè)的大小因子和所述每個作業(yè)的等待因子，計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級。在上述方案中，所述當(dāng)出現(xiàn)空閑資源時，按照作業(yè)隊列中每個作業(yè)的任務(wù)處理情況計算所述作業(yè)隊列中每個作業(yè)的大小因子，包括：當(dāng)出現(xiàn)空閑資源時，分別確定作業(yè)隊列中每個作業(yè)是否已經(jīng)被調(diào)度處理過；若所述作業(yè)隊列中的作業(yè)從未被調(diào)度處理過，則根據(jù)所述作業(yè)的輸入數(shù)據(jù)量計算所述作業(yè)的大小因子；若所述作業(yè)隊列中的作業(yè)已經(jīng)被調(diào)度處理過，則根據(jù)所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間計算所述作業(yè)的大小因子。在上述方案中，所述若所述作業(yè)隊列中的作業(yè)已經(jīng)被調(diào)度處理過，則根據(jù)所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間計算出所述作業(yè)的大小因子，包括：計算所述作業(yè)隊列中作業(yè)當(dāng)前的任務(wù)進度和所述作業(yè)隊列中作業(yè)達到當(dāng)前進度所使用的時間；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度和所述計算出的作業(yè)達到當(dāng)前進度所使用的時間，計算出所述作業(yè)的執(zhí)行率；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度，計算所述作業(yè)的剩余任務(wù)數(shù)量；根據(jù)所述計算出的作業(yè)的執(zhí)行率和所述計算出的作業(yè)的剩余任務(wù)數(shù)量，計算出所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間；根據(jù)所述計算出的作業(yè)執(zhí)行完剩余任務(wù)所需的時間，計算出所述作業(yè)的大小因子。在上述方案中，所述當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中作業(yè)的大小因子和所述作業(yè)隊列中作業(yè)的等待因子計算出所述作業(yè)隊列中作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序，包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；其中，所述等待因子與所述優(yōu)先級正相關(guān)，所述大小因子與所述優(yōu)先級負(fù)相關(guān)。第二方面，本專利技術(shù)實施例提供一種作業(yè)調(diào)度裝置，所述裝置包括：計算單元、排序單元和處理單元；其中，所述計算單元，用于當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級；所述排序單元，用于將所述作業(yè)隊列中的作業(yè)按照計算單元計算出的所述優(yōu)先級進行排序；所述處理單元，用于按照所述排序后的作業(yè)隊列的順序，對所述作業(yè)隊列中的作業(yè)進行調(diào)度處理。在上述方案中，所述計算單元，具體用于當(dāng)出現(xiàn)空閑資源時，按照作業(yè)隊列中每個作業(yè)的任務(wù)處理情況計算所述作業(yè)隊列中每個作業(yè)的大小因子；按照所述作業(yè)隊列中每個作業(yè)前一次調(diào)度的時間計算所述作業(yè)隊列中作業(yè)的等待因子；根據(jù)計算出的所述每個作業(yè)的大小因子和所述每個作業(yè)的等待因子，計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級。在上述方案中，所述計算單元，具體用于當(dāng)出現(xiàn)空閑資源時，分別確定作業(yè)隊列中每個作業(yè)是否已經(jīng)被調(diào)度處理過；若所述作業(yè)隊列中的作業(yè)從未被調(diào)度處理過，則根據(jù)所述作業(yè)的輸入數(shù)據(jù)計算出所述作業(yè)的大小因子；若所述作業(yè)隊列中的作業(yè)已經(jīng)被調(diào)度處理過，則根據(jù)所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間計算出所述作業(yè)的大小因子。在上述方案中，所述計算單元，具體用于計算所述作業(yè)隊列中作業(yè)當(dāng)前的任務(wù)進度和達到當(dāng)前進度所使用的時間；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度和所述計算出的作業(yè)達到當(dāng)前進度所使用的時間，計算出所述作業(yè)的執(zhí)行率；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度，計算所述作業(yè)的剩余任務(wù)數(shù)量；根據(jù)所述計算出的作業(yè)的執(zhí)行率和所述計算出的作業(yè)的剩余任務(wù)數(shù)量，計算出所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間；根據(jù)所述計算出的作業(yè)執(zhí)行完剩余任務(wù)所需的時間，計算出所述作業(yè)的大小因子。在上述方案中，所述排序單元，具體用于當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；其中，所述等待因子與所述優(yōu)先級正相關(guān)；所述大小因子與所述優(yōu)先級負(fù)相關(guān)。本專利技術(shù)實施例提供了一種作業(yè)調(diào)度方法和裝置，先由作業(yè)的大小因子和等待因子計算出作業(yè)的優(yōu)先級，再根據(jù)作業(yè)的優(yōu)先級進行調(diào)度處理，這樣，能夠縮短小作業(yè)的響應(yīng)時間，同時防止大作業(yè)產(chǎn)生“饑餓現(xiàn)象”，實現(xiàn)提高調(diào)作業(yè)度效率的技術(shù)效果。附本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種作業(yè)調(diào)度方法，其特征在于，所述方法包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；按照所述排序后的作業(yè)隊列的順序，對所述作業(yè)隊列中的作業(yè)進行調(diào)度處理。

【技術(shù)特征摘要】
1.一種作業(yè)調(diào)度方法，其特征在于，所述方法包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序；按照所述排序后的作業(yè)隊列的順序，對所述作業(yè)隊列中的作業(yè)進行調(diào)度處理。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小因子和所述作業(yè)隊列中每個作業(yè)的等待因子計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序，包括：當(dāng)出現(xiàn)空閑資源時，按照作業(yè)隊列中每個作業(yè)的任務(wù)處理情況計算所述作業(yè)隊列中每個作業(yè)的大小因子；按照所述作業(yè)隊列中每個作業(yè)前一次調(diào)度的時間計算所述作業(yè)隊列中作業(yè)的等待因子；根據(jù)計算出的所述每個作業(yè)的大小因子和所述每個作業(yè)的等待因子，計算出所述作業(yè)隊列中每個作業(yè)的優(yōu)先級。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述當(dāng)出現(xiàn)空閑資源時，按照作業(yè)隊列中每個作業(yè)的任務(wù)處理情況計算所述作業(yè)隊列中每個作業(yè)的大小因子，包括：當(dāng)出現(xiàn)空閑資源時，分別確定作業(yè)隊列中每個作業(yè)是否已經(jīng)被調(diào)度處理過；若所述作業(yè)隊列中的作業(yè)從未被調(diào)度處理過，則根據(jù)所述作業(yè)的輸入數(shù)據(jù)量計算所述作業(yè)的大小因子；若所述作業(yè)隊列中的作業(yè)已經(jīng)被調(diào)度處理過，則根據(jù)所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間計算所述作業(yè)的大小因子。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述若所述作業(yè)隊列中的作業(yè)已經(jīng)被調(diào)度處理過，則根據(jù)所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間計算出所述作業(yè)的大小因子，包括：計算所述作業(yè)隊列中作業(yè)當(dāng)前的任務(wù)進度和所述作業(yè)隊列中作業(yè)達到當(dāng)前進度所使用的時間；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度和所述計算出的作業(yè)達到當(dāng)前進度所使用的時間，計算出所述作業(yè)的執(zhí)行率；根據(jù)所述計算出的作業(yè)當(dāng)前的任務(wù)進度，計算所述作業(yè)的剩余任務(wù)數(shù)量；根據(jù)所述計算出的作業(yè)的執(zhí)行率和所述計算出的作業(yè)的剩余任務(wù)數(shù)量，計算出所述作業(yè)執(zhí)行完剩余任務(wù)所需的時間；根據(jù)所述計算出的作業(yè)執(zhí)行完剩余任務(wù)所需的時間，計算出所述作業(yè)的大小因子。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中作業(yè)的大小因子和所述作業(yè)隊列中作業(yè)的等待因子計算出所述作業(yè)隊列中作業(yè)的優(yōu)先級，并將所述作業(yè)隊列中的作業(yè)按照所述優(yōu)先級進行排序，包括：當(dāng)出現(xiàn)空閑資源時，根據(jù)作業(yè)隊列中每個作業(yè)的大小...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭鵬飛，
申請(專利權(quán))人：西安中興新軟件有限責(zé)任公司，
類型：發(fā)明
國別省市：陜西,61