基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)，包括：獲取信息系統(tǒng)當(dāng)前時(shí)刻t之前的n個(gè)時(shí)間段內(nèi)的時(shí)序日志數(shù)據(jù)x

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)
本專利技術(shù)涉及數(shù)據(jù)處理
，具體涉及基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)。
技術(shù)介紹
日志是一種反映信息系統(tǒng)運(yùn)行軌跡的信息源，是每個(gè)信息系統(tǒng)必不可少的一部分。日志數(shù)據(jù)具有全業(yè)務(wù)范圍、全時(shí)間類型、全時(shí)間維度的特性，蘊(yùn)藏著信息系統(tǒng)運(yùn)行的關(guān)鍵部分信息。在實(shí)際的生產(chǎn)工作中對運(yùn)維人員進(jìn)行系統(tǒng)維護(hù)和設(shè)備狀態(tài)監(jiān)控等活動(dòng)有著至關(guān)重要的指導(dǎo)作用，利用日志數(shù)據(jù)可以提煉出較為有用的故障信息。現(xiàn)有技術(shù)中，基于日志數(shù)據(jù)進(jìn)行故障預(yù)測只能預(yù)測出故障的有無，也就是在未來一段時(shí)間內(nèi)是否會(huì)產(chǎn)生故障。雖然有很多改進(jìn)的技術(shù)，旨在提高預(yù)測的準(zhǔn)確性，比如利用組合分類器，通過組合多個(gè)分類器形成復(fù)合模型，最終分類結(jié)果通過各分類器投票表決，可以用集成學(xué)習(xí)的算法來得以實(shí)現(xiàn)。但是對于要產(chǎn)生的故障其他信息是未知的，比如什么時(shí)間產(chǎn)生故障、故障發(fā)生在信息系統(tǒng)的哪個(gè)位置，預(yù)知信息系統(tǒng)故障時(shí)間和空間，能提前采取相應(yīng)策略以免故障的發(fā)生。
技術(shù)實(shí)現(xiàn)思路
針對上述現(xiàn)有技術(shù)存在的問題，本專利技術(shù)提供了基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)，基于日志數(shù)據(jù)對未來一段時(shí)間內(nèi)是否會(huì)產(chǎn)生故障進(jìn)行預(yù)測，并基于預(yù)測會(huì)發(fā)生故障的日志數(shù)據(jù)進(jìn)行進(jìn)一步精準(zhǔn)預(yù)測，比如故障發(fā)生時(shí)間和發(fā)生位置，以用于信息系統(tǒng)管理員提前采取相應(yīng)策略避免故障的發(fā)生。本專利技術(shù)提供了基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，包括：獲取信息系統(tǒng)當(dāng)前時(shí)刻t之前的n個(gè)時(shí)間段(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)x1，進(jìn)行預(yù)處理；r>基于所述時(shí)序日志數(shù)據(jù)對未來一個(gè)時(shí)間段(t，t+Δt)內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷：若不會(huì)產(chǎn)生故障，則不進(jìn)一步處理，并輸出信息系統(tǒng)運(yùn)行正常信息；否則，進(jìn)一步判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置，并輸出包含時(shí)間空間信息的故障預(yù)警信息；所述判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置采用多任務(wù)學(xué)習(xí)模型，對故障發(fā)生具體時(shí)間和位置這兩個(gè)任務(wù)進(jìn)行聯(lián)合訓(xùn)練，并同時(shí)返回產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置。作為上述方案的進(jìn)一步優(yōu)化，所述基于所述時(shí)序日志數(shù)據(jù)獲取未來一個(gè)時(shí)間段內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷，采用基于分類的故障預(yù)測模型獲取，故障預(yù)測模型采用的算法包括但不限于關(guān)聯(lián)規(guī)則算法、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機(jī)。作為上述方案的進(jìn)一步優(yōu)化，所述基于所述時(shí)序日志數(shù)據(jù)對未來一個(gè)時(shí)間段(t，t+Δt)內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷，采用第一深度神經(jīng)網(wǎng)絡(luò)，所述第一深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程為：采集歷史時(shí)序日志數(shù)據(jù)，提取第一特征向量，形成訓(xùn)練樣本集，所述第一特征向量包括與日志級別關(guān)聯(lián)的特征，并將日志級別為alert、error、warning且持續(xù)時(shí)間大于第一預(yù)設(shè)閾值的日志作為故障日志數(shù)據(jù)進(jìn)行標(biāo)注，日志級別為notice、info、debug的日志作為非故障數(shù)據(jù)進(jìn)行標(biāo)注，進(jìn)行故障預(yù)測訓(xùn)練；所述第一深度神經(jīng)網(wǎng)絡(luò)的預(yù)測過程為：基于采集的(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)提取第一特征向量，輸入第一深度神經(jīng)網(wǎng)絡(luò)，預(yù)測(t，t+Δt)的日志級別，若日志級別為warning級別以上，則確定(t，t+Δt)內(nèi)會(huì)產(chǎn)生故障。作為上述方案的進(jìn)一步優(yōu)化，所述第一預(yù)設(shè)閾值根據(jù)閃電告警日志的持續(xù)時(shí)間確定。作為上述方案的進(jìn)一步優(yōu)化，所述多任務(wù)學(xué)習(xí)模型的訓(xùn)練過程為：采集歷史故障時(shí)序日志數(shù)據(jù)，提取第二特征向量，形成訓(xùn)練樣本集，所述第二特征向量包括與故障的位置和產(chǎn)生時(shí)間均關(guān)聯(lián)的特征，并將故障的位置和產(chǎn)生時(shí)間作為標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練；所述多任務(wù)學(xué)習(xí)模型的預(yù)測過程為：基于采集的(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)中的故障數(shù)據(jù)，提取第二特征向量輸入多任務(wù)學(xué)習(xí)模型，預(yù)測(t，t+Δt)發(fā)生故障的具體時(shí)間和位置。作為上述方案的進(jìn)一步優(yōu)化，所述第一特征向量包括事件發(fā)生時(shí)間點(diǎn)、日志級別、事件持續(xù)時(shí)間、日志發(fā)生的空間信息、事件詳情；第二特征向量包括告警級別、故障名稱、網(wǎng)元類型、網(wǎng)絡(luò)設(shè)備性能、告警源、故障的定位信息、故障的產(chǎn)生時(shí)間和清除時(shí)間。作為上述方案的進(jìn)一步優(yōu)化，所述多任務(wù)學(xué)習(xí)模型包括特征輸入層、隱層、特定任務(wù)層、特征任務(wù)輸出層，所述特征輸入層用于接收第二特征向量和標(biāo)注數(shù)據(jù)，所述隱層采用參數(shù)硬共享機(jī)制，用于實(shí)現(xiàn)兩個(gè)任務(wù)的數(shù)據(jù)共享，所述特定任務(wù)層包括第一特性隱藏層和第二特性隱藏層，分別用于學(xué)習(xí)故障的產(chǎn)生時(shí)間和位置的預(yù)測任務(wù)，所述特征任務(wù)輸出層包括第一任務(wù)輸出層和第二任務(wù)輸出層，分別用于分別輸出產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置的預(yù)測值。作為上述方案的進(jìn)一步優(yōu)化，所述多任務(wù)學(xué)習(xí)模型的訓(xùn)練過程還包括：基于特征輸入層輸入的第二特征向量，經(jīng)過前向網(wǎng)絡(luò)傳播，特征任務(wù)輸出層輸出得到預(yù)測的故障的位置和產(chǎn)生時(shí)間，基于預(yù)設(shè)的多任務(wù)學(xué)習(xí)聯(lián)合損失函數(shù)，獲得特征任務(wù)輸出層輸出得到的預(yù)測值與該輸入的第二特征向量攜帶的標(biāo)注數(shù)據(jù)之間的多任務(wù)聯(lián)合損失值，將多任務(wù)聯(lián)合損失值進(jìn)行反向傳播，利用控制變量法進(jìn)行模型參數(shù)優(yōu)化，直至訓(xùn)練過程結(jié)束，獲取最佳的網(wǎng)絡(luò)參數(shù)。作為上述方案的進(jìn)一步優(yōu)化，所述預(yù)設(shè)的多任務(wù)學(xué)習(xí)聯(lián)合損失函數(shù)lossjoint為：其中，loss1為故障時(shí)間的交叉熵?fù)p失函數(shù)，loss2為故障空間的交叉熵?fù)p失函數(shù)。本專利技術(shù)還提供了基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測系統(tǒng)，包括：時(shí)序日志數(shù)據(jù)獲取模塊，用于獲取信息系統(tǒng)當(dāng)前時(shí)刻t之前的n個(gè)時(shí)間段(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)x1，進(jìn)行預(yù)處理；故障預(yù)測模塊，用于基于所述時(shí)序日志數(shù)據(jù)對未來一個(gè)時(shí)間段(t，t+Δt)內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷，若不會(huì)產(chǎn)生故障，則不進(jìn)一步處理，并輸出信息系統(tǒng)運(yùn)行正常信息；故障時(shí)間空間預(yù)測模塊，用于當(dāng)故障預(yù)測模塊預(yù)測結(jié)果為會(huì)產(chǎn)生故障時(shí)，進(jìn)一步判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置，并輸出包含時(shí)間空間信息的故障預(yù)警信息；所述判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置采用多任務(wù)學(xué)習(xí)模型，對故障發(fā)生具體時(shí)間和位置這兩個(gè)任務(wù)進(jìn)行聯(lián)合訓(xùn)練，并同時(shí)返回產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置。本專利技術(shù)的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法及系統(tǒng)，具備如下有益效果：1.本專利技術(shù)的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，采用先對日志數(shù)據(jù)預(yù)處理后訓(xùn)練出一個(gè)能預(yù)測是否會(huì)產(chǎn)生故障的模型，實(shí)現(xiàn)了對非故障日志數(shù)據(jù)的判斷篩選過程，其中的過濾篩選過程，包括了對非故障日志的過濾和故障持續(xù)時(shí)間短的閃斷告警日志的過濾，有效提高故障預(yù)測的效果，減小對下一步預(yù)測準(zhǔn)確性的影響，在判斷為會(huì)產(chǎn)生故障的基礎(chǔ)上，進(jìn)一步判斷產(chǎn)生故障的具體位置和具體時(shí)間，不僅能實(shí)現(xiàn)預(yù)測故障有無，還能夠在有故障的時(shí)候同時(shí)預(yù)測出故障發(fā)生時(shí)間及故障產(chǎn)生的空間位置，對系統(tǒng)未來一段時(shí)間的故障行為進(jìn)行預(yù)測和分析，這樣在故障出現(xiàn)之前，可以通過調(diào)度等預(yù)防措施，避免故障的發(fā)生或者盡可能降低故障導(dǎo)致的損失。2.本專利技術(shù)的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，對于故障時(shí)間空間預(yù)測采用多任務(wù)學(xué)習(xí)模型，可以實(shí)現(xiàn)學(xué)習(xí)模型的模型結(jié)構(gòu)的共享，簡化深度學(xué)習(xí)模型的模型結(jié)構(gòu)，與此同時(shí)，通過共享部分的引入本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：包括：/n獲取信息系統(tǒng)當(dāng)前時(shí)刻t之前的n個(gè)時(shí)間段(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)x

【技術(shù)特征摘要】
1.基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：包括：
獲取信息系統(tǒng)當(dāng)前時(shí)刻t之前的n個(gè)時(shí)間段(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)x1，進(jìn)行預(yù)處理；
基于所述時(shí)序日志數(shù)據(jù)對未來一個(gè)時(shí)間段(t，t+Δt)內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷：
若不會(huì)產(chǎn)生故障，則不進(jìn)一步處理，并輸出信息系統(tǒng)運(yùn)行正常信息；
否則，進(jìn)一步判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置，并輸出包含時(shí)間空間信息的故障預(yù)警信息；
所述判斷產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置采用多任務(wù)學(xué)習(xí)模型，對故障發(fā)生具體時(shí)間和位置這兩個(gè)任務(wù)進(jìn)行聯(lián)合訓(xùn)練，并同時(shí)返回產(chǎn)生故障的具體時(shí)間點(diǎn)和空間位置。


2.根據(jù)權(quán)利要求1所述的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：所述基于所述時(shí)序日志數(shù)據(jù)獲取未來一個(gè)時(shí)間段內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷，采用基于分類的故障預(yù)測模型獲取，故障預(yù)測模型采用的算法包括但不限于關(guān)聯(lián)規(guī)則算法、決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、支持向量機(jī)。


3.根據(jù)權(quán)利要求2所述的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：所述基于所述時(shí)序日志數(shù)據(jù)對未來一個(gè)時(shí)間段(t，t+Δt)內(nèi)信息系統(tǒng)是否會(huì)產(chǎn)生故障進(jìn)行判斷，采用第一深度神經(jīng)網(wǎng)絡(luò)，
所述第一深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程為：采集歷史時(shí)序日志數(shù)據(jù)，提取第一特征向量，形成訓(xùn)練樣本集，所述第一特征向量包括與日志級別關(guān)聯(lián)的特征，并將日志級別為alert、error、warning且持續(xù)時(shí)間大于第一預(yù)設(shè)閾值的日志作為故障日志數(shù)據(jù)進(jìn)行標(biāo)注，日志級別為notice、info、debug的日志作為非故障數(shù)據(jù)進(jìn)行標(biāo)注，進(jìn)行故障預(yù)測訓(xùn)練；
所述第一深度神經(jīng)網(wǎng)絡(luò)的預(yù)測過程為：基于采集的(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)提取第一特征向量，輸入第一深度神經(jīng)網(wǎng)絡(luò)，預(yù)測(t，t+Δt)的日志級別，若日志級別為warning級別以上，則確定(t，t+Δt)內(nèi)會(huì)產(chǎn)生故障。


4.根據(jù)權(quán)利要求3所述的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：所述第一預(yù)設(shè)閾值根據(jù)閃電告警日志的持續(xù)時(shí)間確定。


5.根據(jù)權(quán)利要求1所述的基于信息系統(tǒng)日志的故障時(shí)間空間預(yù)測方法，其特征在于：所述多任務(wù)學(xué)習(xí)模型的訓(xùn)練過程為：采集歷史故障時(shí)序日志數(shù)據(jù)，提取第二特征向量，形成訓(xùn)練樣本集，所述第二特征向量包括與故障的位置和產(chǎn)生時(shí)間均關(guān)聯(lián)的特征，并將故障的位置和產(chǎn)生時(shí)間作為標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練；
所述多任務(wù)學(xué)習(xí)模型的預(yù)測過程為：基于采集的(t-n*Δt，t)內(nèi)的時(shí)序日志數(shù)據(jù)中的故障數(shù)據(jù)，提取第二特征向量輸入多任務(wù)學(xué)習(xí)模型，預(yù)測(t，t+...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳樹霖，朱京，趙子巖，李宏發(fā)，張江龍，高揚(yáng)，李金鳳，吳小華，張?zhí)炱?/a>，趙云龍，胡心穎，郭慶，楊彬彬，李小威，
申請(專利權(quán))人：國網(wǎng)福建省電力有限公司信息通信分公司，國網(wǎng)福建省電力有限公司，國家電網(wǎng)有限公司信息通信分公司，安徽繼遠(yuǎn)軟件有限公司，國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司，
類型：發(fā)明
國別省市：福建;35