任務處理方法、裝置及設備制造方法及圖紙

本發明專利技術實施例涉及計算機技術領域，是關于一種任務處理方法、裝置及設備。其中，所述方法包括：確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置。本發明專利技術的實施例，通過將第一待處理任務的下次處理時間與待處理任務隊列中當前已有的待處理任務的下次處理時間進行比較，根據比較的結果，將第一待處理任務插入待處理任務隊列中的目標位置，可以實現后續以不同的周期來處理不同的任務，提高任務的處理質量。

【技術實現步驟摘要】
任務處理方法、裝置及設備
本專利技術實施例涉及計算機
，尤其涉及一種任務處理方法、裝置及設備。
技術介紹
眾所周知，在計算機
常需周期性地處理一些作業任務?，F有的任務處理方法通常是將要處理的任務放入一待處理任務隊列的尾，而從隊列的頭取出下一個待處理的任務。顯然，這種方法只適用于相同處理周期的任務，而影響處理周期不同的任務的處理質量。舉例來說，假設網絡爬蟲系統需要周期性地獲取大量的網頁信息，如URL(統一資源定位符UniformResourceLocator)，這里可將獲取一網頁信息的操作視為處理一任務。由于不同類型的網頁具有不同的更新周期，因而需要以不同的獲取周期來獲取不同類型網頁的網頁信息(即以不同的處理周期來處理任務)。以幾種典型的網頁類型為例，首頁的更新周期通常為小時級別，列表頁的更新周期通常為天級別，而內容頁的更新周期通常為周級別。采用現有的任務處理方法只能以一固定周期抓取不同類型網頁的網頁信息，而容易導致對更新周期較短的網頁抓取不及時，或對更新周期較長的網頁重復抓取。
技術實現思路
本專利技術實施例提供一種任務處理方法、裝置及設備，以解決相關技術中的不足。根據本專利技術實施例的第一方面，提供一種任務處理方法，包括：確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間?？蛇x地，所述第一待處理任務為：所述待處理任務隊列中存在過的、且需要周期性執行的待處理任務；相應地，所述確定第一待處理任務的下次處理時間，包括：確定第一待處理任務的處理周期及所述第一待處理任務的上次處理時間；根據所述處理周期及所述上次處理時間確定所述第一待處理任務的下次處理時間。可選地，所述第一待處理任務為：所述待處理任務隊列中未存在過的、且需要周期性執行的待處理任務；相應地，所述確定第一待處理任務的下次處理時間，包括：為所述第一待處理任務初始化設置下次處理時間?？蛇x地，所述待處理任務隊列基于雙向鏈表進行實現；其中，所述雙向鏈表中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間?？蛇x地，所述待處理任務隊列基于數組進行實現；其中，所述數組中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間。可選地，所述方法還包括：若所述待處理任務隊列中的第二待處理任務已被執行，則從所述待處理任務隊列中刪除所述第二待處理任務。根據本專利技術實施例的第二方面，提供一種網頁信息獲取方法，包括：確定第一待獲取網頁信息的下次獲取時間；所述第一待獲取網頁信息為：需要添加至待獲取網頁信息隊列的網頁信息；所述待獲取網頁信息隊列中的網頁信息具有不同的信息獲取周期；將所述第一待獲取網頁信息的下次獲取時間與所述待獲取網頁信息隊列中當前已有的待獲取網頁信息的下次獲取時間分別進行比較；根據所述比較的結果，將所述第一待獲取網頁信息插入所述待獲取網頁信息隊列中的目標位置；其中，所述目標位置的前一位置的待獲取網頁信息的下次獲取時間早于所述第一待獲取網頁信息的下次獲取時間，且所述目標位置的后一位置的待獲取網頁信息的下次獲取時間晚于所述第一待獲取網頁信息的下次獲取時間。根據本專利技術實施例的第三方面，提供一種任務處理裝置，包括：第一時間確定模塊，用于確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；第一時間比較模塊，用于將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；第一任務插入模塊，用于根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間?？蛇x地，所述第一待處理任務為：所述待處理任務隊列中存在過的、且需要周期性執行的待處理任務；相應地，所述第一時間確定模塊，包括：周期時間確定單元，用于確定第一待處理任務的處理周期及所述第一待處理任務的上次處理時間；下次時間確定單元，用于根據所述處理周期及所述上次處理時間確定所述第一待處理任務的下次處理時間?？蛇x地，所述第一待處理任務為：所述待處理任務隊列中未存在過的、且需要周期性執行的待處理任務；相應地，所述第一時間確定模塊，包括：下次時間預設單元，用于為所述第一待處理任務初始化設置下次處理時間?？蛇x地，所述待處理任務隊列基于雙向鏈表進行實現；其中，所述雙向鏈表中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間?？蛇x地，所述待處理任務隊列基于數組進行實現；其中，所述數組中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間?？蛇x地，所述裝置還包括：任務刪除模塊，用于當所述待處理任務隊列中的第二待處理任務已被執行時，從所述待處理任務隊列中刪除所述第二待處理任務。根據本專利技術實施例的第四方面，提供一種網頁信息獲取裝置，包括：第二時間確定模塊，用于確定第一待獲取網頁信息的下次獲取時間；所述第一待獲取網頁信息為：需要添加至待獲取網頁信息隊列的網頁信息；所述待獲取網頁信息隊列中的網頁信息具有不同的信息獲取周期；第二時間比較模塊，用于將所述第一待獲取網頁信息的下次獲取時間與所述待獲取網頁信息隊列中當前已有的待獲取網頁信息的下次獲取時間分別進行比較；網頁信息插入模塊，用于根據所述比較的結果，將所述第一待獲取網頁信息插入所述待獲取網頁信息隊列中的目標位置；其中，所述目標位置的前一位置的待獲取網頁信息的下次獲取時間早于所述第一待獲取網頁信息的下次獲取時間，且所述目標位置的后一位置的待獲取網頁信息的下次獲取時間晚于所述第一待獲取網頁信息的下次獲取時間。根據本專利技術實施例的第五方面，提供一種電子設備，包括：處理器；用于存儲處理器可處理指令的存儲器；其中，所述處理器被配置為：確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間。根據本專利技術實施例的第五方面，提供一種本文檔來自技高網...

【技術保護點】
1.一種任務處理方法，其特征在于，包括：確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間。

【技術特征摘要】
1.一種任務處理方法，其特征在于，包括：確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間。2.根據權利要求1所述的方法，其特征在于，所述第一待處理任務為：所述待處理任務隊列中存在過的、且需要周期性執行的待處理任務；相應地，所述確定第一待處理任務的下次處理時間，包括：確定第一待處理任務的處理周期及所述第一待處理任務的上次處理時間；根據所述處理周期及所述上次處理時間確定所述第一待處理任務的下次處理時間。3.根據權利要求1所述的方法，其特征在于，所述第一待處理任務為：所述待處理任務隊列中未存在過的、且需要周期性執行的待處理任務；相應地，所述確定第一待處理任務的下次處理時間，包括：為所述第一待處理任務初始化設置下次處理時間。4.根據權利要求1所述的方法，其特征在于，所述待處理任務隊列基于雙向鏈表進行實現；其中，所述雙向鏈表中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間。5.根據權利要求1所述的方法，其特征在于，所述待處理任務隊列基于數組進行實現；其中，所述數組中包括多個元素，每個元素對應一個待處理任務，且每個元素包含一待處理任務的標識及其下次抓取時間。6.根據權利要求1所述的方法，其特征在于，所述方法還包括：若所述待處理任務隊列中的第二待處理任務已被執行，則從所述待處理任務隊列中刪除所述第二待處理任務。7.一種網頁信息獲取方法，其特征在于，包括：確定第一待獲取網頁信息的下次獲取時間；所述第一待獲取網頁信息為：需要添加至待獲取網頁信息隊列的網頁信息；所述待獲取網頁信息隊列中的網頁信息具有不同的信息獲取周期；將所述第一待獲取網頁信息的下次獲取時間與所述待獲取網頁信息隊列中當前已有的待獲取網頁信息的下次獲取時間分別進行比較；根據所述比較的結果，將所述第一待獲取網頁信息插入所述待獲取網頁信息隊列中的目標位置；其中，所述目標位置的前一位置的待獲取網頁信息的下次獲取時間早于所述第一待獲取網頁信息的下次獲取時間，且所述目標位置的后一位置的待獲取網頁信息的下次獲取時間晚于所述第一待獲取網頁信息的下次獲取時間。8.一種任務處理裝置，其特征在于，包括：第一時間確定模塊，用于確定第一待處理任務的下次處理時間；所述第一待處理任務為：需要添加至待處理任務隊列的任務；所述待處理任務隊列中包含周期性任務，且周期性任務的處理周期不同；第一時間比較模塊，用于將所述第一待處理任務的下次處理時間與所述待處理任務隊列中當前已有的待處理任務的下次處理時間分別進行比較；第一任務插入模塊，用于根據所述比較的結果，將所述第一待處理任務插入所述待處理任務隊列中的目標位置；其中，所述目標位置的前一位置的待處理任務的下次處理時間早于所述第一待處理任務的下次處理時間，且所述目標位置的后一位置的待處理任務的下次處理時間晚于所述第一待處理任務的下次處理時間。9.根據權利要求8所述的裝置，其特征在于，所述第一待處理任務為：所述待處理任務隊列中存在過的、且...

【專利技術屬性】
技術研發人員：張旭東，
申請(專利權)人：北京嘀嘀無限科技發展有限公司，
類型：發明
國別省市：北京,11