【技術實現步驟摘要】
本專利技術涉及數據分析,具體為一種基于機器學習的統一納管數據管理系統及方法。
技術介紹
1、現如今大數據云平臺技術飛快發展,取代了以前人工進行記錄的方法,統一納管云平臺已經運用在大部分公司中,統一納管云平臺是一個集成化的云管理解決方案,旨在通過統一界面和管理工具對多種云資源進行集中管理和監控。通過使用統一納管云平臺,企業可以更加高效地管理和監控云資源,優化資源使用,并確保云環境的安全性和合規性。
2、在納管數據云平臺中,有一個自動化分類系統,是對多種資源數據進行自動化分類匯總,用戶將資源數據上傳到云平臺過程中,通過自動化分類系統對資源數據進行自動化分類,將資源數據放置其所屬的類型中,但是由于資源數據會隨著時間變化而發生變化,自動化分類系統沒有及時更新,會導致自動化分類系統在分類判斷時出現錯誤,把該屬于這一類的資源數據放到了其他類中,需要工作人員重新審核將資源數據放置正確位置,這一操作影響了人工審核的時間,對工作人員的工作效率產生了影響,因此需要一種基于機器學習的統一納管數據管理系統及方法,能夠得到更新間隔時長,根據更新間隔時長對自動化分類系統及時更新,減少發生錯誤情況。
技術實現思路
1、本專利技術的目的在于提供一種基于機器學習的統一納管數據管理系統及方法,以解決上述
技術介紹
中提出的問題。
2、為了解決上述技術問題,本專利技術提供如下技術方案:一種基于機器學習的統一納管數據管理系統及方法,方法包括:
3、步驟s100:在納管數據云平臺中,對經過自
4、步驟s200:根據若干個時間間隔,對各種資源數據的錯誤數量建立最優預測模型;
5、步驟s300:根據工作人員審查錯誤數據所花費總時間的閾值,得到各種資源數據的若干種錯誤數量組合和若干種錯誤數量組合所花費時長集合;
6、步驟s400:根據若干種錯誤數量組合所花費時長集合,計算得到所述花費時長的最優等級,根據所述最優等級的范圍,對自動化分類系統進行更新分析。
7、進一步的,步驟s100包括:
8、步驟s101:將第i種資源數據進行人工審核,對審查結果為錯誤的錯誤數量進行采集,將第i種資源數據的錯誤數量繪制曲線圖;
9、步驟s102:對所述曲線圖進行計算,得到第i種資源數據的變化周期,將納管數據云平臺中各種資源數據的變化周期進行匯總計算,得到資源數據變化周期的平均數a和中位數b;
10、步驟s103:根據所述平均數和中位數計算,得到審核資源數據的時間間隔,根據時間間隔公式:gn=a+n×b,其中,gn表示為第n個時間間隔,n表示為時間間隔的權值,對n在規定范圍內進行隨機取值,將隨機取值輸入到時間間隔公式中,得到若干個時間間隔。
11、上述步驟中,對審查結果為錯誤的錯誤數量進行采集,是根據不同時間點,對各種資源數據新出現的錯誤數量進行采集,因為每次審核發現錯誤后,都會將錯誤的資源數據放回到其正確的分類中;
12、由于人為設定的時間間隔,容易出現數據冗余或者預測準確性下降等情況,所以根據資源數據的錯誤數量匯總曲線圖,找到更為合適的時間間隔;
13、曲線圖的橫坐標為采集的時間點,縱坐標為資源數據的錯誤數量,根據所述曲線圖分析,從曲線圖原點開始,斜率值的正負每變化兩次的時間段,計算得到資源數據的變化周期;
14、對變化周期取平均數和中位數,帶入時間間隔公式,對時間間隔的權值在范圍內進行隨機取值,得到若干個隨機時間間隔,這樣可以使時間間隔更為豐富,得到更合適的時間間隔,如果不對時間間隔的權值隨機取值,則會導致時間間隔過于單一,容易使后續分析出現誤差。
15、進一步的,步驟s200包括:
16、步驟s201:以gn為時間間隔,對第i種資源數據的錯誤數量進行采集,建立以gn為時間間隔,第i種資源數據的錯誤數量預測模型,對所述預測模型進行測試,得到以gn為時間間隔,第i種資源數據的錯誤數量預測模型的誤差值,將以gn為時間間隔,各種資源數據的錯誤數量預測模型的誤差值相加,得到以gn為時間間隔的總誤差值;
17、步驟s202:調取若干個時間間隔,將各個時間間隔的總誤差值進行匯總,按照從小到大進行排序,將最小值所對應的時間間隔為最優時間間隔,將最優時間間隔所對應的各種資源數據的錯誤數量預測模型,作為各種資源數據的錯誤數量最優預測模型。
18、上述步驟中,根據時間間隔和采集得到的錯誤數量,通過使用線性回歸模型,建立預測模型;
19、根據若干個時間間隔對資源數據的錯誤數量進行采集,建立資源數據的錯誤數量預測模型,判斷不同時間間隔得到的預測模型的誤差值,得到最優的預測模型,如果不用多個時間間隔對資源數據的錯誤數量進行采集,會導致預測模型準確度過低,對后續分析起到影響。
20、進一步的,步驟s300包括:
21、步驟s301:采集工作人員對資源數據進行人工審核所花費的時間,計算得到工作人員對資源數據進行人工審核所花費的平均時間為tp,根據所述平均時間,設定工作人員審查錯誤數據所花費總時間的閾值t;
22、步驟s302:采集工作人員對第i種資源數據的錯誤數據審查所花費的平均時間,計算得到各種資源數據的錯誤數量,根據錯誤數量公式:t=t1×s1+t2×s2+...+ti×si,其中,t1、t2、...、ti分別表示為第1、2...、i種資源數據的錯誤數據審查所花費的平均時間,s1、s2、...、si分別表示為第1、2...、i種資源數據的錯誤數量;
23、步驟s303:滿足錯誤數量公式的第j種錯誤數量組合為s1j、s2j、...、sij,其中,s1j、s2j、...、sij分別表示為第j種錯誤數量組合中第1、2...、i種資源數據的錯誤數量;
24、步驟s304:將sij輸入到第i種資源數據的錯誤數量最優預測模型中,得到第i種資源數據的錯誤數量達到sij所花費的時長,將各種資源數據的錯誤數量達到第j種錯誤數量組合中各種資源數據的錯誤數量,所花費的時長進行匯總,得到第j種錯誤數量組合所花費時長集合。
25、由于工作人員每天審查經過分類后的資源數據所花費的時間不一樣,所以要計算工作人員所花費的平均時間,進而得到工作人員審查錯誤數據所花費總時間的閾值,所述閾值可以根據工作人員審查錯誤數據所花費的時間權值進行調整,得到更合適的閾值,若m越大t也越大,則工作人員可以接受花費在審查錯誤數據的總時間越多,若m越小t也越小,則工作人員可以接受花費在審查錯誤數據的總時間越少,根據不同情況對m進行賦值,得到合適的審查錯誤數據所花費總時間的閾值;
26、根據工作人員審查錯誤數據所花費總時間的閾值和審查每種資源數據的錯誤數據所花費的平均時間進行計算,由于有若干種資源數據,審核每個資源數據的平均時間不同,會導致滿足錯誤數量公式本文檔來自技高網...
【技術保護點】
1.一種基于機器學習的統一納管數據管理方法,其特征在于:方法包括:
2.根據權利要求1所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟S100對各種審查結果為錯誤的錯誤數量分析得到若干個時間間隔的過程,包括以下步驟:
3.根據權利要求2所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟S200對各種資源數據的錯誤數量建立最優預測模型的過程,包括以下步驟:
4.根據權利要求3所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟S300對得到若干種各種資源數據的錯誤數量組合和若干種錯誤數量組合所花費時長集合的過程,包括以下步驟:
5.根據權利要求4所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟S400對得到更新間隔時長的過程,包括以下步驟:
6.一種基于機器學習的統一納管數據管理系統,用于實現權利要求1-5中任一項所述一種基于機器學習的統一納管數據管理方法,其特征在于,時間間隔模塊、預測模型模塊、數量組合模塊和更新時長模塊;
7.根據權利要求6所述的一種基于機器
8.根據權利要求6所述的一種基于機器學習的統一納管數據管理系統,其特征在于,所述預測模型模塊包括建立預測模型單元和分析最優預測模型單元;
9.根據權利要求6所述的一種基于機器學習的統一納管數據管理系統,其特征在于,所述數量組合模塊包括分析錯誤時間單元和錯誤數量組合單元;
10.根據權利要求6所述的一種基于機器學習的統一納管數據管理系統,其特征在于,所述更新時長模塊包括分析更新時長單元和更新提醒單元;
...【技術特征摘要】
1.一種基于機器學習的統一納管數據管理方法,其特征在于:方法包括:
2.根據權利要求1所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟s100對各種審查結果為錯誤的錯誤數量分析得到若干個時間間隔的過程,包括以下步驟:
3.根據權利要求2所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟s200對各種資源數據的錯誤數量建立最優預測模型的過程,包括以下步驟:
4.根據權利要求3所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟s300對得到若干種各種資源數據的錯誤數量組合和若干種錯誤數量組合所花費時長集合的過程,包括以下步驟:
5.根據權利要求4所述的一種基于機器學習的統一納管數據管理方法,其特征在于,步驟s400對得到更新間隔時長的過程,包括以下步驟:
6.一種...
【專利技術屬性】
技術研發人員:張向飛,王軼,方海賓,滕天宇,王棟梁,顧琦,
申請(專利權)人:上海市大數據中心,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。