【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種模型訓練任務隊列控制方法、裝置、設備、介質及產品。
技術介紹
1、隨著數字技術的不斷發展，模型訓練也得到了更廣泛的應用，而相關技術中對于模型訓練任務的管理，針對大文件復制、刪除、上傳、移動、解壓縮等操作采取了異步排隊策略，排隊采取了線程池控制，但是存在內存溢出的風險，當內存溢出的時候，會造成平臺的不可用，對訓練任務造成較大的影響。
2、因此，如何更有效的進行模型訓練任務隊列控制已經成為業界亟待解決的問題。
技術實現思路
1、本專利技術提供一種模型訓練任務隊列控制方法、裝置、設備、介質及產品，用以解決現有技術中如何更有效的進行模型訓練任務隊列控制的問題。
2、本專利技術提供一種模型訓練任務隊列控制方法，包括：
3、在滿足第一預設時間間隔的情況下，根據從緩存中查詢到的訓練任務線程池的線程池名稱，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據；
4、在所述訓練任務線程池對應的全部任務隊列均完成運行的情況下，將所述訓練任務線程池的任務狀態修改為任務完成，關閉所述訓練任務線程池；
5、其中，所述隊列數據庫存儲在與所述緩存不同的存儲設備中。
6、根據本專利技術提供的一種模型訓練任務隊列控制方法，在滿足第一預設時間間隔的情況下，根據從緩存中查詢到的訓練任務線程池的線程池名稱，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據的步驟
7、在創建新的訓練任務線程池的情況下，將所述新的訓練任務線程池對應的隊列任務數據存儲到隊列數據庫中；
8、將所述新的訓練任務線程池對應的線程池名稱、任務狀態和任務類型寫入所述緩存的隊列數據表中。
9、根據本專利技術提供的一種模型訓練任務隊列控制方法，在所述將所述新的訓練任務線程池對應的線程池名稱、任務狀態和任務類型寫入所述緩存中的隊列數據表中的步驟之后，所述方法還包括：
10、在緩存的線程池中沒有正在運行的隊列的情況下，從所述隊列數據庫中取出所述新的訓練任務線程池對應的目標隊列任務數據，并運行所述目標隊列任務數據；其中，所述目標隊列任務數據為任務狀態為入庫狀態的隊列任務數據；
11、在所述目標隊列任務數據執行完畢后，將所述目標隊列任務數據的任務狀態由入庫狀態調整為出庫狀態，并繼續讀取和執行所述新的訓練任務線程池對應的目標隊列任務數據；
12、在第二預設時間段內，未讀取到所述新的訓練任務線程池對應的目標隊列任務數據的情況下，所述新的訓練任務線程池對應隊列任務數據的任務狀態均調整為任務完成，并關閉所述新的訓練任務線程池。
13、根據本專利技術提供的一種模型訓練任務隊列控制方法，所述隊列數據表包括：線程池名稱、線程池任務類型、線程池任務類型、隊列數據身份信息；
14、其中，所述線程池任務類型包括以下至少一項：復制任務類型、壓縮任務類型；
15、其中，所述線程池任務類型包括以下至少一項：入庫狀態、出庫狀態、任務完成狀態。
16、根據本專利技術提供的一種模型訓練任務隊列控制方法，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據，包括：
17、在所述隊列數據庫中，按照所述訓練任務線程池對應的隊列任務數據的順序，依次讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據。
18、根據本專利技術提供的一種模型訓練任務隊列控制方法，所述在創建新的訓練任務線程池的情況下，將所述新的訓練任務線程池對應的隊列任務數據存儲到隊列數據庫中，包括：
19、將所述新的訓練任務線程池對應的隊列任務數據進行任務排隊；
20、根據任務排隊的順序，依次將所述新的訓練任務線程池對應的隊列任務數據存儲到隊列數據庫。
21、根據本專利技術提供的一種模型訓練任務隊列控制方法，在所述訓練任務線程池對應的全部任務隊列均完成運行的情況下，將所述訓練任務線程池的任務狀態修改為任務完成，關閉所述訓練任務線程池的步驟之后，還包括：
22、從所述緩存的隊列數據表中移除所述訓練任務線程池的線程池名稱、任務狀態和任務類型。
23、本專利技術還提供一種模型訓練任務隊列控制裝置，包括如下模塊：
24、查詢模塊，用于在滿足第一預設時間間隔的情況下，根據從緩存中查詢到的訓練任務線程池的線程池名稱，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據；
25、控制模塊，用于在所述訓練任務線程池對應的全部任務隊列均完成運行的情況下，將所述訓練任務線程池的任務狀態修改為任務完成，關閉所述訓練任務線程池；
26、其中，所述隊列數據庫存儲在與所述緩存不同的存儲設備中。
27、根據本申請提供的模型訓練任務隊列控制裝置，所述裝置還用于：
28、在創建新的訓練任務線程池的情況下，將所述新的訓練任務線程池對應的隊列任務數據存儲到隊列數據庫中；
29、將所述新的訓練任務線程池對應的線程池名稱、任務狀態和任務類型寫入所述緩存的隊列數據表中。
30、根據本申請提供的模型訓練任務隊列控制裝置，所述裝置還用于：
31、在緩存的線程池中沒有正在運行的隊列的情況下，從所述隊列數據庫中取出所述新的訓練任務線程池對應的目標隊列任務數據，并運行所述目標隊列任務數據；其中，所述目標隊列任務數據為任務狀態為入庫狀態的隊列任務數據；
32、在所述目標隊列任務數據執行完畢后，將所述目標隊列任務數據的任務狀態由入庫狀態調整為出庫狀態，并繼續讀取和執行所述新的訓練任務線程池對應的目標隊列任務數據；
33、在第二預設時間段內，未讀取到所述新的訓練任務線程池對應的目標隊列任務數據的情況下，所述新的訓練任務線程池對應隊列任務數據的任務狀態均調整為任務完成，并關閉所述新的訓練任務線程池。
34、根據本申請提供的模型訓練任務隊列控制裝置，所述裝置還用于：
35、在所述隊列數據庫中，按照所述訓練任務線程池對應的隊列任務數據的順序，依次讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據。
36、根據本申請提供的模型訓練任務隊列控制裝置，所述裝置還用于：
37、將所述新的訓練任務線程池對應的隊列任務數據進行任務排隊；
38、根據任務排隊的順序，依次將所述新的訓練任務線程池對應的隊列任務數據存儲到隊列數據庫。
39、根據本申請提供的模型訓練任務隊列控制裝置，所述裝置還用于：
40、從所述緩存的隊列數據表中移除所述訓練任務線程池的線程池名稱、任務狀態和任務類型。
41、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種本文檔來自技高網...
【技術保護點】
1.一種模型訓練任務隊列控制方法，其特征在于，包括：
2.根據權利要求1所述的模型訓練任務隊列控制方法，其特征在于，在滿足第一預設時間間隔的情況下，根據從緩存中查詢到的訓練任務線程池的線程池名稱，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據的步驟之前，所述方法還包括：
3.根據權利要求2所述的模型訓練任務隊列控制方法，其特征在于，在所述將所述新的訓練任務線程池對應的線程池名稱、任務狀態和任務類型寫入所述緩存中的隊列數據表中的步驟之后，所述方法還包括：
4.根據權利要求3所述的模型訓練任務隊列控制方法，其特征在于，所述隊列數據表包括：線程池名稱、線程池任務類型、線程池任務類型、隊列數據身份信息；
5.根據權利要求1所述的模型訓練任務隊列控制方法，其特征在于，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據，包括：
6.根據權利要求3所述的模型訓練任務隊列控制方法，其特征在于，所述在創建新的訓練任務線程池的情況下，將所述新的訓練任務線程池對應的隊列任務數據存儲到
7.根據權利要求1所述的模型訓練任務隊列控制方法，其特征在于，在所述訓練任務線程池對應的全部任務隊列均完成運行的情況下，將所述訓練任務線程池的任務狀態修改為任務完成，關閉所述訓練任務線程池的步驟之后，還包括：
8.一種模型訓練任務隊列控制裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述模型訓練任務隊列控制方法。
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述模型訓練任務隊列控制方法。
...【技術特征摘要】
1.一種模型訓練任務隊列控制方法，其特征在于，包括：
2.根據權利要求1所述的模型訓練任務隊列控制方法，其特征在于，在滿足第一預設時間間隔的情況下，根據從緩存中查詢到的訓練任務線程池的線程池名稱，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據的步驟之前，所述方法還包括：
3.根據權利要求2所述的模型訓練任務隊列控制方法，其特征在于，在所述將所述新的訓練任務線程池對應的線程池名稱、任務狀態和任務類型寫入所述緩存中的隊列數據表中的步驟之后，所述方法還包括：
4.根據權利要求3所述的模型訓練任務隊列控制方法，其特征在于，所述隊列數據表包括：線程池名稱、線程池任務類型、線程池任務類型、隊列數據身份信息；
5.根據權利要求1所述的模型訓練任務隊列控制方法，其特征在于，在隊列數據庫中讀取所述訓練任務線程池對應的隊列任務數據，并運行所述隊列任務數據，包括：<...
【專利技術屬性】
技術研發人員：徐如慶，
申請(專利權)人：蘇州元腦智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。