一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，該方法以時(shí)間序列數(shù)據(jù)分割的核心算法：分段線性表示為基礎(chǔ)，結(jié)合自頂向下分段線性表示以及數(shù)據(jù)權(quán)重較大的數(shù)據(jù)點(diǎn)，對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行數(shù)據(jù)分割與降維操作，并在操作的過(guò)程中對(duì)相應(yīng)的數(shù)據(jù)點(diǎn)按照其權(quán)重的不同，建立多分辨率數(shù)據(jù)表示索引，在數(shù)據(jù)降維的基礎(chǔ)上既保證了數(shù)據(jù)表達(dá)的精確性(擬合精度)又以多分辨率顯示的方式滿足了不同用戶對(duì)數(shù)據(jù)簡(jiǎn)化表達(dá)與數(shù)據(jù)展示的多樣性需求。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法
本專利技術(shù)涉及一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，尤其涉及了一種基于分段線性表示(Piecewiselinearrepresentation，PLR)的“高維”時(shí)間序列數(shù)據(jù)的數(shù)據(jù)降維與多分辨率數(shù)據(jù)可視化方法，屬于數(shù)據(jù)分析與數(shù)據(jù)挖掘的

技術(shù)介紹
隨著“互聯(lián)網(wǎng)+”時(shí)代的到來(lái)，各種基于網(wǎng)絡(luò)技術(shù)、移動(dòng)通信技術(shù)、物聯(lián)網(wǎng)技術(shù)的應(yīng)用層出不窮，在各種電子商務(wù)活動(dòng)以及各種工業(yè)信息化交互中都產(chǎn)生了大量的、基于時(shí)間序列的業(yè)務(wù)數(shù)據(jù)信息，被稱為時(shí)間序列數(shù)據(jù)(TimeSeriesData)。時(shí)間序列數(shù)據(jù)不僅反映了數(shù)據(jù)在某一時(shí)刻的狀態(tài)信息，時(shí)序數(shù)據(jù)整體也反映了一定的數(shù)據(jù)變化規(guī)律和趨勢(shì)。過(guò)去幾年隨著社交網(wǎng)絡(luò)的不斷發(fā)展壯大、工業(yè)4.0概念的提出，社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代(2013年也被稱為大數(shù)據(jù)元年)，這就意味著大數(shù)據(jù)開(kāi)始進(jìn)入商用階段，因此，針對(duì)時(shí)間序列數(shù)據(jù)的分析與挖掘的相關(guān)研究工作也愈演愈烈，逐漸成為大數(shù)據(jù)分析與挖掘的熱點(diǎn)問(wèn)題之一。目前，傳統(tǒng)的數(shù)據(jù)分析與數(shù)據(jù)可視化技術(shù)無(wú)法直接應(yīng)用于時(shí)間序列數(shù)據(jù)的研究，主要包括以下幾方面的原因：1、數(shù)據(jù)存儲(chǔ)成本大、數(shù)據(jù)分析代價(jià)高時(shí)間序列數(shù)據(jù)一般具有“海量”、“高維”、“連續(xù)”等特點(diǎn)，與傳統(tǒng)的靜態(tài)數(shù)據(jù)有很大的不同，受制于相應(yīng)的計(jì)算代價(jià)與存儲(chǔ)成本的限制，無(wú)法對(duì)時(shí)間序列原始數(shù)據(jù)直接開(kāi)展相應(yīng)的數(shù)據(jù)分析與挖掘研究工作。因此，需要在分析之前進(jìn)行相應(yīng)的數(shù)據(jù)降維與簡(jiǎn)化表示操作。2、數(shù)據(jù)降維與數(shù)據(jù)簡(jiǎn)化表示思路相對(duì)局限目前，基于時(shí)間序列的降維操作，往往僅局限于時(shí)序數(shù)據(jù)中的極值點(diǎn)，并以極值點(diǎn)的權(quán)重作為數(shù)據(jù)簡(jiǎn)化表達(dá)的依據(jù)。這樣進(jìn)行數(shù)據(jù)簡(jiǎn)化表達(dá)往往過(guò)于主觀，在某些應(yīng)場(chǎng)景下數(shù)據(jù)表達(dá)的效果并不十分理想。因此，需要采用更加合理的度量數(shù)據(jù)權(quán)重的一般性方法。3、數(shù)據(jù)表達(dá)和數(shù)據(jù)可視化形式單一前主流的基于時(shí)間序列數(shù)據(jù)的降維方法與數(shù)據(jù)簡(jiǎn)化表示只能按照某些用戶所指定具體的擬合精度進(jìn)行簡(jiǎn)化表示，即數(shù)據(jù)降維與數(shù)據(jù)簡(jiǎn)化表示形式相對(duì)單一，如果想在某次數(shù)據(jù)分析之后，對(duì)擬合精度進(jìn)行修改并再次進(jìn)行數(shù)據(jù)分析，則需要重復(fù)相同的數(shù)據(jù)降維過(guò)程，無(wú)疑對(duì)數(shù)據(jù)分析和挖掘工作增加了不必要的分析成本。此外，相對(duì)固定的數(shù)據(jù)表達(dá)方式，無(wú)法滿足用戶針對(duì)不同的應(yīng)用場(chǎng)景以多分辨率形式進(jìn)行數(shù)據(jù)可視化的基本要求。根據(jù)以上的分析，針對(duì)時(shí)間序列數(shù)據(jù)的分析與可視化研究，首先需要對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行相應(yīng)的數(shù)據(jù)降維操作與數(shù)據(jù)簡(jiǎn)化表示。分段線性表示(Piecewiselinearrepresentation，PLR)是目前主流的時(shí)間序列數(shù)據(jù)降維和數(shù)據(jù)簡(jiǎn)化表示的重要方法之一，它與人類視覺(jué)的數(shù)據(jù)觀測(cè)規(guī)律相吻合，是非常直觀和簡(jiǎn)潔的數(shù)據(jù)表示方法。通過(guò)對(duì)時(shí)序數(shù)據(jù)進(jìn)行“分段線性表示”，可以以較低的數(shù)據(jù)維度為分布式數(shù)據(jù)存儲(chǔ)設(shè)計(jì)索引邊界函數(shù)，也可以極大地提高相似序列檢索的計(jì)算效率。目前，分段線性表示的時(shí)間序列數(shù)據(jù)簡(jiǎn)化方法廣泛應(yīng)用于時(shí)間序列數(shù)據(jù)分析與挖掘的研究之中，是時(shí)間序列數(shù)據(jù)分類、聚類、異常點(diǎn)監(jiān)測(cè)、數(shù)據(jù)預(yù)測(cè)、數(shù)據(jù)子序列匹配等熱點(diǎn)問(wèn)題研究方法的基礎(chǔ)和前提。
技術(shù)實(shí)現(xiàn)思路
針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法；本專利技術(shù)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)降維操作，并對(duì)相應(yīng)的數(shù)據(jù)簡(jiǎn)化表示以一種靈活的、多分辨率的形式進(jìn)行數(shù)據(jù)可視化展現(xiàn)。本專利技術(shù)數(shù)據(jù)降維操作以時(shí)間序列數(shù)據(jù)分割的核心算法：分段線性表示(Piecewiselinearrepresentation，PLR)為基礎(chǔ)，結(jié)合自頂向下(topdown)分段線性表示(PLR_TD)以及數(shù)據(jù)權(quán)重較大的數(shù)據(jù)點(diǎn)，對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行數(shù)據(jù)分割與降維操作，并在操作的過(guò)程中對(duì)相應(yīng)的數(shù)據(jù)點(diǎn)按照其權(quán)重的不同，建立多分辨率表示(multi-resolutionrepresentation)索引，在數(shù)據(jù)降維的基礎(chǔ)上既保證了數(shù)據(jù)表達(dá)的精確性(擬合精度)又以多分辨率顯示的方式滿足了不同用戶對(duì)數(shù)據(jù)表達(dá)與顯示的不同需求。本方法對(duì)時(shí)間序列數(shù)據(jù)所進(jìn)行數(shù)據(jù)分割處理效率較高，并能最大限度的滿足用戶對(duì)時(shí)序數(shù)據(jù)簡(jiǎn)化表示和多分辨率數(shù)據(jù)顯示要求。因此本方法為接下來(lái)可能進(jìn)行的基于時(shí)間序列流數(shù)據(jù)的分類、聚類、數(shù)據(jù)預(yù)測(cè)以及相似序列匹配與檢索、大數(shù)據(jù)可視化等科研工作，提供了技術(shù)保障和參考依據(jù)。術(shù)語(yǔ)解釋：1、時(shí)間序列數(shù)據(jù)(timeseriesdata，TS)，TS＝(vt1,vt2,…,vti,…,vtn)長(zhǎng)度為n，其中1≤i≤n,vti表示時(shí)間序列TS中某一個(gè)具體的時(shí)間序列數(shù)據(jù)點(diǎn)，簡(jiǎn)稱為時(shí)序點(diǎn)，時(shí)序點(diǎn)vti包括具體的時(shí)刻ti及該時(shí)刻的實(shí)測(cè)數(shù)據(jù)值vi，vti＝(vi，ti)。2、TS數(shù)據(jù)權(quán)重，不失一般性，設(shè)TS的擬合直線為連接TS首尾端點(diǎn)的線段，即TSline＝(vt1,vtn),則TS上任意數(shù)據(jù)點(diǎn)vti的擬合誤差(fittingerrorofsinglepoint，fe_spi)，可以通過(guò)計(jì)算數(shù)據(jù)點(diǎn)vti到TSline的垂直距離來(lái)獲取，采用垂直距離的計(jì)算方式去度量TS數(shù)據(jù)權(quán)重(數(shù)據(jù)點(diǎn)對(duì)數(shù)據(jù)趨勢(shì)的影響)，需要指出的是，兩點(diǎn)間的歐式距離、直線的正交距離都可以用來(lái)計(jì)算擬合誤差(相關(guān)資料已經(jīng)給出證明)，但是垂直距離的計(jì)算更加直觀和簡(jiǎn)潔。具體計(jì)算如公式1所示fe_spi＝|v1+(ti-t1)*(vn-v1)/(tn-t1)-vi|(1)TS中每個(gè)數(shù)據(jù)點(diǎn)的權(quán)重可以根據(jù)公式(1)以TS單點(diǎn)誤差的形式進(jìn)行表示，此外根據(jù)分析公式(1)可知，除了TS中的起始點(diǎn)vt1，以及終止點(diǎn)vtn的權(quán)重為0以外，其余數(shù)據(jù)點(diǎn)的權(quán)重(擬合誤差)的大小均取決于它們自身與擬合直線TSline的遠(yuǎn)近程度。對(duì)TS數(shù)據(jù)利用公式(1)進(jìn)行一次遍歷，我們可以獲得數(shù)據(jù)點(diǎn)vtk，其數(shù)據(jù)權(quán)重(單點(diǎn)誤差)在TS中最大，fe_spk被稱為T(mén)S中的最大單點(diǎn)權(quán)重(maximumweightofsinglepoint，mw_sp)，mw_sp的計(jì)算如公式(2)所示此外，我們可以在公式(1)的基礎(chǔ)上，計(jì)算當(dāng)前數(shù)據(jù)分段的權(quán)重(weightofentiresegment，w_es)。不失一般性，假設(shè)將當(dāng)前TS看成一個(gè)數(shù)據(jù)分段，TS的w_es的計(jì)算如公式(3)所示。不失一般性，假設(shè)TS當(dāng)前的分段數(shù)目為K，即TS＝{S1,S2,…,SK}，用公式(1)、公式(3)分別計(jì)算當(dāng)前K個(gè)數(shù)據(jù)分段的分段權(quán)重，并利用公式(4)獲取TS的當(dāng)前最大分段權(quán)重(maximumweightofentiresegment，mw_es)。3、TS數(shù)據(jù)分段表示與降維策略：經(jīng)過(guò)以上的說(shuō)明，TS的數(shù)據(jù)簡(jiǎn)化表示與降維策略可以表述如下：(1)從當(dāng)前TS的K個(gè)數(shù)據(jù)分段中利用公式(1)、公式(3)、公式(4)尋找具有mw_es的數(shù)據(jù)分段Si(1≤i≤K)。(2)不失一般性，假設(shè)數(shù)據(jù)分段Si的起始點(diǎn)與終止點(diǎn)分別為vtp和vtq，則Si可以表示為:Si＝(vtp,vt(p+1),…,vtj,…,vtq),利用公式(2)從Si中選出具有mw_sp的數(shù)據(jù)點(diǎn)vtj。(3)利用vtj將原始數(shù)據(jù)分段Sj，再次細(xì)分為以及兩個(gè)數(shù)據(jù)分段，當(dāng)前TS的數(shù)據(jù)分段數(shù)為K+1。(4)繼續(xù)以上三個(gè)操作步驟，在具有mw_es的數(shù)據(jù)分段中尋找具有mw_sp的數(shù)據(jù)點(diǎn)，進(jìn)行PLR數(shù)據(jù)簡(jiǎn)化表示并同時(shí)完成數(shù)據(jù)維度的降低。直到TS中的數(shù)據(jù)分段點(diǎn)滿足數(shù)據(jù)壓縮率(dataco本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，該方法以基于“自頂向下”的分段線性表示為基準(zhǔn)，包括步驟如下：S1，預(yù)設(shè)數(shù)據(jù)壓縮率DCR閾值ρ；S2，將時(shí)間序列數(shù)據(jù)TS的起始點(diǎn)vt1和終止點(diǎn)vtn選定為初始數(shù)據(jù)分段點(diǎn)，計(jì)算時(shí)間序列數(shù)據(jù)TS的任意數(shù)據(jù)點(diǎn)權(quán)重和當(dāng)前數(shù)據(jù)分段權(quán)重，并將vt1、vt2轉(zhuǎn)換成相應(yīng)的鏈表節(jié)點(diǎn)存入MRISL中；S3，根據(jù)S2的處理結(jié)果，從此步驟開(kāi)始，利用TS分段表示策略，從當(dāng)前分段中選擇具有mw_es的數(shù)據(jù)分段，并從該分段中選擇具有mw_sp的數(shù)據(jù)點(diǎn)vtk，作為新的數(shù)據(jù)分段點(diǎn)，并對(duì)當(dāng)前數(shù)據(jù)分段進(jìn)行再次細(xì)分；S4，判斷當(dāng)前MRSIL中的數(shù)據(jù)點(diǎn)個(gè)數(shù)numcur是否已經(jīng)超過(guò)了ρ的限制，如果沒(méi)有超過(guò)，則繼續(xù)執(zhí)行步驟S3，否則，步驟S3終止，相應(yīng)的MRSI建立完畢；S5，通過(guò)基于TS建立的MRSI以及相應(yīng)的DCR，實(shí)現(xiàn)(0，ρ)范圍內(nèi)的，任意數(shù)據(jù)壓縮率DCR下的數(shù)據(jù)多分辨率簡(jiǎn)化表示。

【技術(shù)特征摘要】
1.一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，該方法以基于“自頂向下”的分段線性表示為基準(zhǔn)，包括步驟如下：S1，預(yù)設(shè)數(shù)據(jù)壓縮率DCR閾值ρ；S2，將時(shí)間序列數(shù)據(jù)TS的起始點(diǎn)vt1和終止點(diǎn)vtn選定為初始數(shù)據(jù)分段點(diǎn)，計(jì)算時(shí)間序列數(shù)據(jù)TS的任意數(shù)據(jù)點(diǎn)權(quán)重和當(dāng)前數(shù)據(jù)分段權(quán)重，并將vt1、vt2轉(zhuǎn)換成相應(yīng)的鏈表節(jié)點(diǎn)存入MRISL中；S3，根據(jù)S2的處理結(jié)果，從此步驟開(kāi)始，利用TS分段表示策略，從當(dāng)前分段中選擇具有mw_es的數(shù)據(jù)分段，并從該分段中選擇具有mw_sp的數(shù)據(jù)點(diǎn)vtk，作為新的數(shù)據(jù)分段點(diǎn)，并對(duì)當(dāng)前數(shù)據(jù)分段進(jìn)行再次細(xì)分；S4，判斷當(dāng)前MRSIL中的數(shù)據(jù)點(diǎn)個(gè)數(shù)numcur是否已經(jīng)超過(guò)了ρ的限制，如果沒(méi)有超過(guò)，則繼續(xù)執(zhí)行步驟S3，否則，步驟S3終止，相應(yīng)的MRSI建立完畢；S5，通過(guò)基于TS建立的MRSI以及相應(yīng)的DCR，實(shí)現(xiàn)(0，ρ)范圍內(nèi)的，任意數(shù)據(jù)壓縮率DCR下的數(shù)據(jù)多分辨率簡(jiǎn)化表示。2.根據(jù)權(quán)利要求1所述的一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，所述步驟S2，計(jì)算時(shí)間序列數(shù)據(jù)TS的任意數(shù)據(jù)點(diǎn)權(quán)重，包括：設(shè)時(shí)間序列數(shù)據(jù)TS的擬合直線為連接起始點(diǎn)vt1和終止點(diǎn)vtn的線段，即TSline＝(vt1,vtn),則TS上任意數(shù)據(jù)點(diǎn)vti的權(quán)重fe_spi為數(shù)據(jù)點(diǎn)vti到TSline的垂直距離，具體計(jì)算如公式(Ⅰ)所示式(Ⅰ)中，時(shí)序點(diǎn)vt1包括具體的時(shí)刻t1及該時(shí)刻的實(shí)測(cè)數(shù)據(jù)值v1，vt1＝(v1，t1)；時(shí)序點(diǎn)vtn包括具體的時(shí)刻tn及該時(shí)刻的實(shí)測(cè)數(shù)據(jù)值vn，vtn＝(vn，tn)；時(shí)序點(diǎn)vti包括具體的時(shí)刻ti及該時(shí)刻的實(shí)測(cè)數(shù)據(jù)值vi，vti＝(vi，ti)；起始點(diǎn)vt1的權(quán)重、終止點(diǎn)vtn的權(quán)重均為0。3.根據(jù)權(quán)利要求1所述的一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，所述步驟S2，計(jì)算時(shí)間序列數(shù)據(jù)TS的當(dāng)前數(shù)據(jù)分段權(quán)重，包括：a、選取時(shí)間序列數(shù)據(jù)TS上權(quán)重最大的對(duì)應(yīng)的數(shù)據(jù)點(diǎn)，設(shè)定為vtk，數(shù)據(jù)點(diǎn)vtk的權(quán)重fe_spk被稱為時(shí)間序列數(shù)據(jù)TS中的最大單點(diǎn)權(quán)重mw_sp，計(jì)算如公式(Ⅱ)所示：b、假設(shè)將當(dāng)前時(shí)間序列數(shù)據(jù)TS看成一個(gè)數(shù)據(jù)分段，時(shí)間序列數(shù)據(jù)TS的w_es的計(jì)算如公式(Ⅲ)所示：c、假設(shè)時(shí)間序列數(shù)據(jù)TS當(dāng)前的分段數(shù)目為K，即TS＝{S1,S2,…,SK}，通過(guò)公式(Ⅰ)、公式(Ⅱ)分別計(jì)算當(dāng)前K個(gè)數(shù)據(jù)分段的分段權(quán)重，并利用公式(Ⅳ)獲取時(shí)間序列數(shù)據(jù)TS的當(dāng)前最大分段權(quán)重mw_es：4.根據(jù)權(quán)利要求1所述的一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，所述步驟S2，將vt1、vt2轉(zhuǎn)換成相應(yīng)的鏈表節(jié)點(diǎn)存入數(shù)據(jù)分段點(diǎn)列表MRISL中，數(shù)據(jù)分段點(diǎn)列表MRISL為一個(gè)存儲(chǔ)數(shù)據(jù)分段點(diǎn)的數(shù)據(jù)鏈表，包括步驟如下：d.根據(jù)時(shí)間序列數(shù)據(jù)TS分段策略所獲取的數(shù)據(jù)分段點(diǎn)定義為相應(yīng)的鏈表節(jié)點(diǎn)(listnode，LN)，時(shí)間序列數(shù)據(jù)TS分段策略所獲取的數(shù)據(jù)分段點(diǎn)是指當(dāng)前具有mw_es的數(shù)據(jù)分段中被標(biāo)記為mw_sp的數(shù)據(jù)點(diǎn)，并將此LN依次存入數(shù)據(jù)分段點(diǎn)列表MRISL中，LN的數(shù)據(jù)結(jié)構(gòu)包括index、value、rank、weightL、weightR、mes、ets，index是指數(shù)據(jù)分段點(diǎn)在TS中的原始位置，value是指數(shù)據(jù)分段點(diǎn)的原始數(shù)據(jù)值，rank是指數(shù)據(jù)分段點(diǎn)的選出次序；weightL是指分段點(diǎn)左側(cè)的數(shù)據(jù)分段的權(quán)重值；weightR是指分段點(diǎn)右側(cè)的數(shù)據(jù)分段的權(quán)重值；mes是指當(dāng)前TS的mw_es值；ets是指當(dāng)前TS的整體權(quán)重值。5.根據(jù)權(quán)利要求1所述的一種基于權(quán)重的時(shí)間序列數(shù)據(jù)降維與多分辨率表示方法，其特征在于，ets表示當(dāng)某個(gè)具體的數(shù)據(jù)分段點(diǎn)被選取出來(lái)，對(duì)當(dāng)前時(shí)間序列...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：胡宇鵬，趙新曉，李學(xué)慶，秦東，黃剛?cè)~，
申請(qǐng)(專利權(quán))人：山東大學(xué)，
類型：發(fā)明
國(guó)別省市：山東,37