• 
    <ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>

    利用異構數據源進行IT運維排查的方法及裝置制造方法及圖紙

    技術編號:36704631 閱讀:36 留言:0更新日期:2023-03-01 09:25
    利用異構數據源進行IT運維故障排查的方法及裝置涉及信息技術領域。本發明專利技術由歷史數據采集器、實時數據采集器、數據分類器、數據整合器、特征提取器、梯度決策樹生成器和多梯度決策樹應用模塊組成。通過整合異構數據源的數據,進行多梯度決策樹計算,通過歷史數據得出各種故障對應的決策樹,從而當實時數據輸入各決策樹進行預測時,可以很快速的確定故障位置,無需人工參與判斷,提高了自動化IT運維的效率。效率。效率。

    【技術實現步驟摘要】
    利用異構數據源進行IT運維排查的方法及裝置


    [0001]本專利技術涉及信息


    技術介紹

    [0002]IT運維的一般模式是數據采集單元將被監控的指標數據采集到運維監控系統中;數據傳輸單元將數據采集單元采集的指標數據傳輸到數據存儲單元;數據存儲單元將收集到的指標數據按照時間維度存放在時序數據庫中;數據分析單元對時序數據庫中的時間數列數據的季節特征、趨勢進行預測;告警觸發單元在指標超過設定的閾值或者依賴服務狀態變為不可達時,及時發出報警通知服務管理員排查;應用單元,基于數據采集單元和數據分析單元實現IT運維系統的可視化監控和全鏈路監控。這種閾值驅動型的IT運維無法從主機監控數據,服務器監控數據,網絡監控數據,環境監控數據中快速定義故障范圍和故障來源,需要人為參與監控,基于人的經驗來排查故障原因,有限的效率使得IT運維管理系統所能管理的設備網段區域和設備數量受到限制。
    [0003]現有技術中有申請號為CN202111288447X,名稱為一種IT運維優化方法的專利申請,具有如下步驟:S1、獲取系統歷史運維數據,對數據進行預處理;S2、生成決策樹,獲取步驟S1中預處理的數據,對數據進行處理,利用歸納算法生成可讀的規則和決策樹;S3、決策樹生成以后由運維平臺為決策樹的每個節點綁定自動化功能。與現有技術相比,通過對IT運維的歷史數據進行分類處理,生成決策樹,并將系統中提供的各種監聽、告警、自動化配置等功能,與決策樹節點進行綁定,提高IT服務效率和質量,后期通過新數據不斷優化迭代決策樹,使其無需人工參與,實現智能化運維。該專利沒有對決策樹生成進行詳細論述,進行決策樹節點跟處理規則的綁定需要決策樹的節點和處理規則都是經常性發生的故障,適用范圍為常規性故障及其特定解決方案。
    [0004]IT運維的故障來源有主機故障、網絡故障、機房環境故障幾個方面,其中主機故障又分為操作系統故障、應用程序故障、硬件故障。已知的現有技術主要依靠各分類的閾值產生的告警來分別對各種故障進行反饋,當出現真實故障時,同時會有多個故障來源進行告警,需要進行逐一排查。針對現有技術的不足本專利技術的利用異構數據源進行IT運維排查的方法及裝置提出一種針對各種故障來源產生的故障信息進行異構數據源的人工智能分析方法和裝置,通過對異構數據的極度梯度提升樹運算,自動分析出告警產生時的多源異構故障數據的最優特征和最優切分點,并計算出多個梯度的最優特征和最優切分點。每個最優特征在事先對應一種解決方案的前提下,本專利技術可以提供梯度化的最優故障解決方案集。

    技術實現思路

    [0005]針對現有技術的不足,本專利技術的利用異構數據源進行IT運維故障排查的方法及裝置由歷史數據采集器、實時數據采集器、數據分類器、數據整合器、特征提取器、梯度決策樹生成器和多梯度決策樹應用模塊組成;
    歷史數據采集器通過IT運維監控設備獲取IT運維的歷史數據,IT運維的歷史數據包括:主機操作系統故障時采集的數據、主機硬件故障時采集的數據、主機應用軟件故障時采集的數據、網絡設備故障時采集的數據和機房環境故障時采集的數據以及無任何故障時采集的數據;采集的數據包括:主機操作系統監控數據、主機硬件監控數據、主機應用監控數據、網絡設備監控數據和機房環境監控數據,采集的數據為通過異構數據源采集的多源異構數據;歷史數據采集器將IT運維的歷史數據發送給數據分類器;數據分類器將IT運維的歷史數據分類為:主機操作系統故障時采集的數據并加主機操作系統故障標識,主機硬件故障時采集的數據并加主機硬件故障標識,主機應用軟件故障時采集的數據并加主機應用軟件故障標識,網絡設備故障時采集的數據并加網絡設備故障標識,機房環境故障時采集的數據并加機房環境故障標識,無任何故障時采集的數據并加無故障標識,生成分類的IT運維歷史數據;數據分類器將分類的IT運維歷史數據發送給數據整合器;標識由設備編號和故障類別組成,故障類別包括故障和無故障;數據整合器將處于同一時刻的分類的IT運維歷史數據整合成一個數組,生成整合的IT運維歷史數據,整合的IT運維歷史數據包括了同一時刻采集的主機操作系統數據、同一時刻采集的主機硬件數據、同一時刻采集的主機應用軟件數據、同一時刻采集的網絡設備數據和同一時刻采集的機房環境數據,生成分類的IT運維歷史數據數組集合;數據整合器將分類的IT運維歷史數據數組集合發送梯度決策樹生成器;梯度決策樹生成器選擇m條IT運維歷史數據數組進行梯度決策樹生成運算,其中二分之一m條為標識中包括故障類別為故障的IT運維歷史數據數組,二分之一m條為標識中包括故障類別為無故障的IT運維歷史數據數組;在二分之一m條的標識中包括故障類別為故障的IT運維歷史數據數組中使主機操作系統故障標識的數組和主機硬件故障標識的數組和主機應用軟件故障標識的數組和網絡設備故障標識的數組及機房環境故障標識的數組分布均勻;梯度決策樹生成器使用m條IT運維歷史數據數組作為樣本數據訓練XGBOOST極度梯度提升樹,當樣本數據為標識中包括故障類別為無故障的IT運維歷史數據數組時該樣本目標值為0 ,當樣本數據為標識中包括故障類別為故障的IT運維歷史數據數組時該樣本目標值為1;有m個樣本,每個樣本各n各特征,特征指數組中的具體數值,表示為,其中為第i個樣本的所有n個特征值,R為實數集,為第i個樣本目標值;采用精確貪心算法和Gain增益函數實現XGBOOST極度梯度提升樹的樹模型的第一個節點的節點分裂,即選擇該節點的最優特征和最優切分點;Gain增益函數可以計算當前節點分裂后相比當前節點不分裂時帶來的信息增益效果,其計算方法如下: ;公式中I
    L
    是按照指定特征和指定切分點分裂后左節點包含的樣本集合,I
    R
    是按照指定特征
    和指定切分點分裂后右節點包含的樣本集合,I=I
    L
    并I
    R
    ;代表節點的左子樹,代表節點的右子樹,代表不分裂時可以得到的分樹;γ代表加入新葉子節點引入的復雜度代價,λ為L2正則系數;代表一階展開項系數;代表二階展開項系數;,表示第i個樣本的目標值,表示第t
    ?
    1次迭代中第i個樣本的預測值;遍歷所有的候選特征及所有的候選切分點,即輸入所有信息,求得其相應的Gain增益函數值,并選取其中Gain增益函數值最大的特征及其切分點作為最優特征和最優切分點,使當前節點按最優特征和最優切分點進行分裂;由模型訓練器計算葉子節點的權值,根據XGBOOST模型中定義的損失函數公式:,其中,定義為葉子節點j里的樣本,,是決策樹的空間;q表示將樣本映射到葉子節點的樹結構,T是每棵樹葉子的數量,每個對應獨立的樹結構q和葉權值w,表示第i個葉子的權值;對于一個固定結構q(x),通過上述公式推導計算葉子節點j的最優權值:
    ;模型訓練器經過不斷迭代,直到達到預先設定的目標停止繼續迭代;預先設定的目標即當樣本數據為標識中包括故障類別為無故障的IT運維歷史數據數組時該樣本目標值為0 ,當樣本數據為標識中包括故障類別為故障的IT運維歷史數據數組時該樣本目標值為1;模型訓練器經過不斷迭代完成了XGBOOST模型的過程,即本文檔來自技高網
    ...

    【技術保護點】

    【技術特征摘要】
    1.利用異構數據源進行IT運維故障排查的裝置,其特征在于由歷史數據采集器、實時數據采集器、數據分類器、數據整合器、特征提取器、梯度決策樹生成器和多梯度決策樹應用模塊組成;歷史數據采集器通過IT運維監控設備獲取IT運維的歷史數據,IT運維的歷史數據包括:主機操作系統故障時采集的數據、主機硬件故障時采集的數據、主機應用軟件故障時采集的數據、網絡設備故障時采集的數據和機房環境故障時采集的數據以及無任何故障時采集的數據;采集的數據包括:主機操作系統監控數據、主機硬件監控數據、主機應用監控數據、網絡設備監控數據和機房環境監控數據,采集的數據為通過異構數據源采集的多源異構數據;歷史數據采集器將IT運維的歷史數據發送給數據分類器;數據分類器將IT運維的歷史數據分類為:主機操作系統故障時采集的數據并加主機操作系統故障標識,主機硬件故障時采集的數據并加主機硬件故障標識,主機應用軟件故障時采集的數據并加主機應用軟件故障標識,網絡設備故障時采集的數據并加網絡設備故障標識,機房環境故障時采集的數據并加機房環境故障標識,無任何故障時采集的數據并加無故障標識,生成分類的IT運維歷史數據;數據分類器將分類的IT運維歷史數據發送給數據整合器;標識由設備編號和故障類別組成,故障類別包括故障和無故障;數據整合器將處于同一時刻的分類的IT運維歷史數據整合成一個數組,生成整合的IT運維歷史數據,整合的IT運維歷史數據包括了同一時刻采集的主機操作系統數據、同一時刻采集的主機硬件數據、同一時刻采集的主機應用軟件數據、同一時刻采集的網絡設備數據和同一時刻采集的機房環境數據,生成分類的IT運維歷史數據數組集合;數據整合器將分類的IT運維歷史數據數組集合發送梯度決策樹生成器;梯度決策樹生成器選擇m條IT運維歷史數據數組進行梯度決策樹生成運算,其中二分之一m條為標識中包括故障類別為故障的IT運維歷史數據數組,二分之一m條為標識中包括故障類別為無故障的IT運維歷史數據數組;在二分之一m條的標識中包括故障類別為故障的IT運維歷史數據數組中使主機操作系統故障標識的數組和主機硬件故障標識的數組和主機應用軟件故障標識的數組和網絡設備故障標識的數組及機房環境故障標識的數組分布均勻;梯度決策樹生成器使用m條IT運維歷史數據數組作為樣本數據訓練XGBOOST極度梯度提升樹,當樣本數據為標識中包括故障類別為無故障的IT運維歷史數據數組時該樣本目標值為0 ,當樣本數據為標識中包括故障類別為故障的IT運維歷史數據數組時該樣本目標值為1;有m個樣本,每個樣本各n各特征,特征指數組中的具體數值,表示為,其中為第i個樣本的所有n個特征值,R為實數集,為第i個樣本目標值;采用精確貪心算法和Gain增益函數實現XGBOOST極度梯度提升樹的樹模型的第一個節點的節點分裂,即選擇該節點的最優特征和最優切分點;Gain增益函數可以計算當前節點分裂后相比當前節點不分裂時帶來的信息增益效果,其計算方法如下:
    ;公式中I
    L<...

    【專利技術屬性】
    技術研發人員:陳楊
    申請(專利權)人:北京銀信長遠科技股份有限公司
    類型:發明
    國別省市:

    網友詢問留言 已有0條評論
    • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

    1
    主站蜘蛛池模板: 亚洲av无码专区在线播放| 无码VA在线观看| 丰满少妇人妻无码| 亚洲精品无码久久一线| 亚洲AV无码精品无码麻豆| 无码一区二区三区免费视频| 亚洲AV中文无码乱人伦下载| 久久亚洲精品无码网站| 无码人妻精品一区二区三| 亚洲国产av无码精品| 精品人无码一区二区三区| 成人无码一区二区三区| 一本久道综合在线无码人妻| 国产成人无码精品久久久久免费 | 东京热人妻无码一区二区av| 亚洲AV无码成人专区| 亚洲国产精品无码专区| 免费A级毛片无码A∨男男| 亚洲爆乳无码精品AAA片蜜桃| 亚洲av无码不卡| 免费无码av片在线观看| 国产精品无码一区二区在线观一| 亚洲AV色无码乱码在线观看| 无码精品人妻一区二区三区中| 中文无码乱人伦中文视频在线V| 久久国产精品成人无码网站| 亚洲AV无码一区二区乱子仑| 亚洲午夜无码毛片av久久京东热| 无码精品一区二区三区免费视频| 亚洲国产精品无码久久SM| 八戒理论片午影院无码爱恋| 久久精品无码专区免费| 精品无码人妻一区二区三区不卡| 亚洲av无码成人精品区| 无码人妻精品一区二区三区99不卡 | 免费无遮挡无码永久在线观看视频 | 亚洲av成本人无码网站| 中文字幕亚洲精品无码| 亚洲熟妇无码一区二区三区导航| 久久99精品久久久久久hb无码| 免费人妻无码不卡中文字幕系|