【技術實現步驟摘要】
本申請涉及人工智能，具體而言，涉及一種適于人工智能模型的數據管理系統、方法及相關裝置。
技術介紹
1、隨著ai(artificial?intelligence，人工智能)技術的快速發展，越來越多的應用場景可以通過使用ai模型提高數據處理效率，并為人類提供更多遍歷性，如可以利用ai模型的深度學習技術實現自動駕駛，減少駕駛員的駕駛壓力。
2、一個ai模型從訓練到發版應用往往需要如下過程：準備訓練數據、配置訓練環境、提交訓練任務、人工監控訓練任務是否結束、手動導出訓練的模型，并將手動導出的模型導入評測程序進行評測，待評測通過后，進行發版應用。由此可知，上述過程對于用戶來說操作繁瑣，十分耗費時間和精力。
技術實現思路
1、本申請提供了一種適于人工智能模型的數據管理系統、方法及相關裝置，能夠提供一種一站式管理人工智能模型的系統，不僅對用戶來說操作簡單，還可以節省模型從訓練到評測的人力，提高處理效率。
2、具體的技術方案如下：
3、第一方面，本申請實施例提供了一種適于人工智能模型的數據管理系統，所述系統包括：
4、人機交互模塊，用于接收輸入的配置信息，其中，所述配置信息包括代碼倉庫地址和硬件資源信息，所述代碼倉庫地址包括用于訓練人工智能模型的第一代碼地址、用于對訓練好的所述人工智能模型進行離線評測的第二代碼地址、用于對訓練好的所述人工智能模型進行仿真評測的第三代碼地址中至少一項；
5、模型訓練模塊，用于當所述代碼倉庫地址中包括所述第一
6、模型評測模塊，用于當所述代碼倉庫地址中包括所述第二代碼地址時，基于所述第二代碼地址對訓練好的所述人工智能模型進行離線評測，和/或，當所述代碼倉庫地址中包括所述第三代碼地址時，基于所述第三代碼地址對訓練好的所述人工智能模型進行仿真評測；
7、監控管理模塊，用于監控和管理所述系統的運行情況。
8、通過上述方案可知，用戶只需在本申請實施例提供的系統中的人機交互模塊輸入配置信息，之后由該系統依次運行人機交互模塊、模型訓練模塊、模型評測模塊便可以實現對人工智能模型的訓練和評測，并且由系統中的監控管理模塊實時監控和管理系統的運行情況，而無需人工監控，從而實現了一種一站式管理人工智能模型的系統，不僅對用戶來說操作簡單，還可以節省模型從訓練到評測的人力，提高處理效率。
9、在第一方面的第一種可能的實現方式中，所述監控管理模塊，用于
10、當監控到某任務運行失敗時，向所述人機交互模塊發送任務運行失敗的預警信息，以便所述人機交互模塊輸出所述預警信息；和/或，
11、當監控到某任務運行成功時，向所述人機交互模塊發送任務運行成功的提醒信息，以便所述人機交互模塊輸出所述提醒信息；和/或，
12、當監控到某任務運行失敗時，釋放運行失敗的任務占用的硬件資源；和/或，
13、當監控到某任務運行成功時，釋放運行成功的任務占用的硬件資源；和/或，
14、當監控到某任務申請的硬件資源空閑時長大于或者等于預設時間閾值時，釋放對應的硬件資源。
15、通過上述方案可知，本申請實施例通過向用戶推送任務運行失敗的預警信息、任務運行成功的提醒信息，可以讓用戶及時獲知每個任務最終運行結果，而無需人工監控。并還可以在任務運行失敗時，釋放運行失敗的任務占用的硬件資源，在任務運行成功時，釋放運行成功的任務占用的硬件資源，某硬件資源空閑時長過長時，釋放對應的硬件資源，從而可以提高資源利用率。
16、在第一方面的第二種可能的實現方式中，所述系統還包括：
17、日志記錄模塊，用于生成并記錄關于所述系統運行情況的日志信息。
18、通過上述方案可知，本申請實施例還可以生成并記錄關于系統運行情況的日志信息，從而便于用戶通過查詢日志獲知每個任務的運行情況，比如某任務運行失敗的原因。
19、在第一方面的第三種可能的實現方式中，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的分支名稱branch?name、拉取代碼所需的提交標識commit?id、拉取代碼所需的令牌、任務所在的隊列名稱、任務執行命令、應用容器引擎docker鏡像中至少一項。
20、在第一方面的第四種可能的實現方式中，所述人機交互模塊，還用于在輸出任務查詢界面后，接收針對所述任務查詢界面上的查詢字段輸入的查詢字段值，并輸出任務查詢結果，其中，所述查詢字段根據所述系統執行任一任務過程中記錄的任意信息設置而成。
21、通過上述方案可知，本申請實施例提供的人機交互模塊通過向用戶輸出任務查詢界面，并接收針對任務查詢界面上的查詢字段輸入的查詢字段值，輸出任務查詢結果，從而實現用戶對任一任務相關信息的查詢或追溯，避免了信息查詢或追溯難的問題。
22、第二方面，本申請實施例提供了一種適于人工智能模型的數據管理方法，所述方法應用于適于人工智能模型的數據管理系統，所述方法包括：
23、接收輸入的配置信息，其中，所述配置信息包括代碼倉庫地址和硬件資源信息，所述代碼倉庫地址包括用于訓練人工智能模型的第一代碼地址、用于對訓練好的所述人工智能模型進行離線評測的第二代碼地址、用于對訓練好的所述人工智能模型進行仿真評測的第三代碼地址中至少一項；
24、當所述代碼倉庫地址中包括所述第一代碼地址時，基于所述第一代碼地址和所述硬件資源信息進行模型訓練，獲得訓練好的所述人工智能模型；
25、當所述代碼倉庫地址中包括所述第二代碼地址時，基于所述第二代碼地址對訓練好的所述人工智能模型進行離線評測，和/或，當所述代碼倉庫地址中包括所述第三代碼地址時，基于所述第三代碼地址對訓練好的所述人工智能模型進行仿真評測；
26、在所述系統運行過程中，監控和管理所述系統的運行情況。
27、在第二方面的第一種可能的實現方式中，所述監控和管理所述系統的運行情況，包括：
28、當監控到某任務運行失敗時，生成并輸出任務運行失敗的預警信息；和/或，
29、當監控到某任務運行成功時，生成并輸出任務運行成功的提醒信息；和/或，
30、當監控到某任務運行失敗時，釋放運行失敗的任務占用的硬件資源；和/或，
31、當監控到某任務運行成功時，釋放運行成功的任務占用的硬件資源；和/或，
32、當監控到某任務申請的硬件資源空閑時長大于或者等于預設時間閾值時，釋放對應的硬件資源。
33、在第二方面的第二種可能的實現方式中，所述方法還包括：
34、生成并記錄關于所述系統運行情況的日志信息。
35、在第二方面的第三種可能的實現方式中，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的分支名稱branch?name、拉取代碼所需的提交標識commit?id、拉取代本文檔來自技高網...
【技術保護點】
1.一種適于人工智能模型的數據管理系統，其特征在于，所述系統包括：
2.根據權利要求1所述的系統，其特征在于，所述監控管理模塊，用于
3.根據權利要求1所述的系統，其特征在于，所述系統還包括：
4.根據權利要求1所述的系統，其特征在于，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的分支名稱branch?name、拉取代碼所需的提交標識commit?ID、拉取代碼所需的令牌、任務所在的隊列名稱、任務執行命令、應用容器引擎docker鏡像中至少一項。
5.根據權利要求1-4中任一項所述的系統，其特征在于，所述人機交互模塊，還用于在輸出任務查詢界面后，接收針對所述任務查詢界面上的查詢字段輸入的查詢字段值，并輸出任務查詢結果，其中，所述查詢字段根據所述系統執行任一任務過程中記錄的任意信息設置而成。
6.一種適于人工智能模型的數據管理方法，其特征在于，所述方法應用于適于人工智能模型的數據管理系統，所述方法包括：
7.根據權利要求6所述的方法，其特征在于，所述監控和管理所述系統的運行情況，包括：
9.根據權利要求6所述的方法，其特征在于，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的分支名稱branch?name、拉取代碼所需的提交標識commit?ID、拉取代碼所需的令牌、任務所在的隊列名稱、任務執行命令、應用容器引擎docker鏡像中至少一項。
10.根據權利要求6-9中任一項所述的方法，其特征在于，所述方法還包括：
11.一種適于人工智能模型的數據管理裝置，其特征在于，所述裝置包括：
12.根據權利要求11所述的裝置，其特征在于，所述監控管理單元，用于：
13.根據權利要求11所述的裝置，其特征在于，所述裝置還包括：
14.根據權利要求11所述的裝置，其特征在于，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的提交標識commit?ID、拉取代碼所需的令牌、任務所在的隊列名稱、任務執行命令、應用容器引擎docker鏡像中至少一項。
15.根據權利要求11-14中任一項所述的裝置，其特征在于，所述裝置還包括：
16.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求6-10中任一項所述的方法。
17.一種電子設備，其特征在于，所述電子設備包括：
...【技術特征摘要】
1.一種適于人工智能模型的數據管理系統，其特征在于，所述系統包括：
2.根據權利要求1所述的系統，其特征在于，所述監控管理模塊，用于
3.根據權利要求1所述的系統，其特征在于，所述系統還包括：
4.根據權利要求1所述的系統，其特征在于，所述配置信息還包括任務提交者名稱、任務名稱、拉取代碼所需的分支名稱branch?name、拉取代碼所需的提交標識commit?id、拉取代碼所需的令牌、任務所在的隊列名稱、任務執行命令、應用容器引擎docker鏡像中至少一項。
5.根據權利要求1-4中任一項所述的系統，其特征在于，所述人機交互模塊，還用于在輸出任務查詢界面后，接收針對所述任務查詢界面上的查詢字段輸入的查詢字段值，并輸出任務查詢結果，其中，所述查詢字段根據所述系統執行任一任務過程中記錄的任意信息設置而成。
6.一種適于人工智能模型的數據管理方法，其特征在于，所述方法應用于適于人工智能模型的數據管理系統，所述方法包括：
7.根據權利要求6所述的方法，其特征在于，所述監控和管理所述系統的運行情況，包括：
8.根據權利要求6所述的方法，其特征在于，所述方法還包括：
9.根據權利要求6所述的方法，其特...
【專利技術屬性】
技術研發人員：曾李志，閆遠馳，顧陽，伍奕锜，傅琛，
申請(專利權)人：魔門塔蘇州科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。