一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法及裝置制造方法及圖紙

一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法及裝置，所述方法包括如下步驟：當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，所述消息頭包含所述消息體的特征信息，所述數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)源中的任一數(shù)據(jù)源；在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)，所述目的點(diǎn)根據(jù)所述消息頭確定；其中，所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑根據(jù)所述消息頭或者消息體確定。通過(guò)本發(fā)明專利技術(shù)提供的技術(shù)方案能夠基于同一傳輸管道來(lái)體系化的接入和處理不同數(shù)據(jù)源和/或數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)，極大地提高了對(duì)數(shù)據(jù)的處理效率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法及裝置
本專利技術(shù)涉及大數(shù)據(jù)處理領(lǐng)域，具體地涉及一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法及裝置。
技術(shù)介紹
在大數(shù)據(jù)領(lǐng)域，特別是在大數(shù)據(jù)分析過(guò)程中，數(shù)據(jù)的接入和數(shù)據(jù)的結(jié)構(gòu)化是最為關(guān)鍵的兩個(gè)部分。在實(shí)際應(yīng)用中，用于分析的數(shù)據(jù)可能來(lái)源于多個(gè)數(shù)據(jù)源，并且基于不同數(shù)據(jù)源獲得的數(shù)據(jù)的結(jié)構(gòu)也可能存在差異，這就對(duì)大數(shù)據(jù)分析帶來(lái)了很大的障礙。在現(xiàn)有的大數(shù)據(jù)處理領(lǐng)域，對(duì)于數(shù)據(jù)接入方面的處理仍處于“各自為陣”的階段，沒(méi)有形成體系化的操作模式。在現(xiàn)階段，大多數(shù)情況下，用戶都是根據(jù)單一的業(yè)務(wù)邏輯進(jìn)行高耦合的開(kāi)發(fā)，從而處理和分析從單一數(shù)據(jù)源接入的數(shù)據(jù)。但是，這樣的方案需要用戶針對(duì)不同的數(shù)據(jù)源以及不同的數(shù)據(jù)結(jié)構(gòu)分別制定對(duì)應(yīng)的業(yè)務(wù)邏輯和處理規(guī)則，當(dāng)需要的處理的數(shù)據(jù)的來(lái)源較多時(shí)，現(xiàn)有的方案無(wú)法滿足用戶高效、便捷的數(shù)據(jù)接入和處理需求，不利于提高數(shù)據(jù)處理的效率。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)解決的技術(shù)問(wèn)題是現(xiàn)有技術(shù)必須針對(duì)不同的數(shù)據(jù)源以及不同的數(shù)據(jù)結(jié)構(gòu)分別制定對(duì)應(yīng)的業(yè)務(wù)邏輯和處理規(guī)則，無(wú)法更好地提高數(shù)據(jù)處理效率的問(wèn)題。為解決上述技術(shù)問(wèn)題，本專利技術(shù)實(shí)施例提供一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，包括如下步驟：當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，所述消息頭包含所述消息體的特征信息，所述數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)源中的任一數(shù)據(jù)源；在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)，所述目的點(diǎn)根據(jù)所述消息頭確定；其中，所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑根據(jù)所述消息頭或者消息體確定。可選的，所述目的點(diǎn)包括：使用和/或存儲(chǔ)所述數(shù)據(jù)的終端。可選的，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體與預(yù)設(shè)標(biāo)準(zhǔn)的比較結(jié)果，確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將符合所述預(yù)設(shè)標(biāo)準(zhǔn)的數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。可選的，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理還包括：若所述消息體不符合所述預(yù)設(shè)標(biāo)準(zhǔn)，則將所述數(shù)據(jù)從所述傳輸管道中移除，或者將所述傳輸管道的出口點(diǎn)修正為錯(cuò)誤數(shù)據(jù)傳輸管道的接入點(diǎn)。可選的，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體確定所述目的點(diǎn)是否需要更改；若所述目的點(diǎn)需要更改，則根據(jù)更改后的目的點(diǎn)確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。可選的，根據(jù)所述消息體確定所述目的點(diǎn)是否需要更改包括：根據(jù)所述消息體判斷所述消息頭是否需要更改；當(dāng)判斷結(jié)果表明所述消息頭需要更改時(shí)，將所述消息頭更改為與所述消息體相對(duì)應(yīng)的消息頭，并確定所述目的點(diǎn)需要更改。可選的，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息頭確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。可選的，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體的類型確定是否需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)，所述子數(shù)據(jù)也包括消息頭和消息體；當(dāng)確定需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)時(shí)，根據(jù)每一子數(shù)據(jù)的特征信息確定對(duì)應(yīng)的消息頭；針對(duì)每一子數(shù)據(jù)，根據(jù)所述子數(shù)據(jù)的消息頭確定對(duì)應(yīng)的目的點(diǎn)，并確定所述子數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述子數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。本專利技術(shù)實(shí)施例還提供一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理裝置，包括：獲取模塊，當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，所述消息頭包含所述消息體的特征信息，所述數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)源中的任一數(shù)據(jù)源；處理模塊，用于在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)，所述目的點(diǎn)根據(jù)所述消息頭確定；其中，所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑根據(jù)所述消息頭或者消息體確定。可選的，所述目的點(diǎn)包括：使用和/或存儲(chǔ)所述數(shù)據(jù)的終端。可選的，所述處理模塊包括：過(guò)濾器節(jié)點(diǎn)，所述過(guò)濾器節(jié)點(diǎn)用于根據(jù)所述消息體與預(yù)設(shè)標(biāo)準(zhǔn)的比較結(jié)果，確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將符合所述預(yù)設(shè)標(biāo)準(zhǔn)的數(shù)據(jù)經(jīng)由所述傳輸路徑從所述過(guò)濾器節(jié)點(diǎn)傳輸至所述出口點(diǎn)。可選的，若所述消息體不符合所述預(yù)設(shè)標(biāo)準(zhǔn)，則所述過(guò)濾器節(jié)點(diǎn)將所述數(shù)據(jù)從所述傳輸管道中移除，或者將所述傳輸管道的出口點(diǎn)修正為錯(cuò)誤數(shù)據(jù)傳輸管道的接入點(diǎn)。可選的，所述處理模塊包括：轉(zhuǎn)換器節(jié)點(diǎn)，所述轉(zhuǎn)換器節(jié)點(diǎn)用于根據(jù)所述消息體確定所述目的點(diǎn)是否需要更改；若所述目的點(diǎn)需要更改，則所述轉(zhuǎn)換器節(jié)點(diǎn)根據(jù)更改后的目的點(diǎn)確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑從所述轉(zhuǎn)換器節(jié)點(diǎn)傳輸至所述出口點(diǎn)。可選的，所述轉(zhuǎn)換器節(jié)點(diǎn)包括：判斷單元，用于根據(jù)所述消息體判斷所述消息頭是否需要更改；更改單元，當(dāng)判斷結(jié)果表明所述消息頭需要更改時(shí)，將所述消息頭更改為與所述消息體相對(duì)應(yīng)的消息頭，并確定所述目的點(diǎn)需要更改。可選的，所述處理模塊包括：路由器節(jié)點(diǎn)，所述路由器節(jié)點(diǎn)用于根據(jù)所述消息頭確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑從所述路由器節(jié)點(diǎn)傳輸至所述出口點(diǎn)。可選的，所述處理模塊包括：分解器節(jié)點(diǎn)，所述分解器節(jié)點(diǎn)用于根據(jù)所述消息體的類型確定是否需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)，所述子數(shù)據(jù)也包括消息頭和消息體；當(dāng)確定需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)時(shí)，所述分解器節(jié)點(diǎn)根據(jù)每一子數(shù)據(jù)的特征信息確定對(duì)應(yīng)的消息頭；針對(duì)每一子數(shù)據(jù)，所述分解器節(jié)點(diǎn)根據(jù)所述子數(shù)據(jù)的消息頭確定對(duì)應(yīng)的目的點(diǎn)，并確定所述子數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述子數(shù)據(jù)經(jīng)由所述傳輸路徑從所述分解器節(jié)點(diǎn)傳輸至所述出口點(diǎn)。與現(xiàn)有技術(shù)相比，本專利技術(shù)實(shí)施例的技術(shù)方案具有以下有益效果：當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，并在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)。較之現(xiàn)有用戶需要針對(duì)不同的數(shù)據(jù)源以及不同的數(shù)據(jù)結(jié)構(gòu)，分別制定對(duì)應(yīng)的業(yè)務(wù)邏輯和處理規(guī)則的技術(shù)方案，本專利技術(shù)實(shí)施例的技術(shù)方案能夠基于同一傳輸管道來(lái)體系化的接入和處理不同數(shù)據(jù)源和/或數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)。在本專利技術(shù)實(shí)施例的技術(shù)方案中，根據(jù)所述消息頭確定所述數(shù)據(jù)的目的點(diǎn)，以引導(dǎo)所述數(shù)據(jù)經(jīng)由所述傳輸管道的傳輸和處理最終傳輸至所述目的點(diǎn)。進(jìn)一步，根據(jù)所述消息頭或消息體確定所述數(shù)據(jù)在所述傳輸管道包括的不同節(jié)點(diǎn)之間的傳輸路徑，從而將所述數(shù)據(jù)成功傳輸至所述傳輸管道的出口點(diǎn)，并經(jīng)由所述出口點(diǎn)傳輸至所述目的點(diǎn)，極大地提高了對(duì)數(shù)據(jù)的處理效率。進(jìn)一步，所述傳輸管道中可以包括過(guò)濾器節(jié)點(diǎn)、轉(zhuǎn)換器節(jié)點(diǎn)、路由器節(jié)點(diǎn)或者分解器節(jié)點(diǎn)中的任一個(gè)或任多個(gè)，用戶可以根據(jù)實(shí)際需要進(jìn)行確定所述傳輸管道包括的至少一個(gè)節(jié)點(diǎn)的類型以及相互之間的連接順序，從而形成具有不同處理功能的傳輸路徑，使得所述數(shù)據(jù)能夠經(jīng)過(guò)在所述傳輸路徑上的傳輸后到達(dá)所述傳輸管道的出口點(diǎn)，并經(jīng)由所述出口點(diǎn)傳輸至所述目的點(diǎn)。附圖說(shuō)明圖1是本專利技術(shù)的第一實(shí)施例的一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法的流程圖；圖2是采用本專利技術(shù)實(shí)施例的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法的一個(gè)應(yīng)用場(chǎng)景示意圖；圖3是本專利技術(shù)實(shí)施例使用的過(guò)濾器節(jié)點(diǎn)的應(yīng)用場(chǎng)景示意圖；圖4是本專利技術(shù)實(shí)施例使用的轉(zhuǎn)換器節(jié)點(diǎn)的應(yīng)用場(chǎng)景示意圖；圖5是本專利技術(shù)實(shí)施例使用的路由器節(jié)點(diǎn)的應(yīng)用場(chǎng)景示意圖；圖6是本本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，包括如下步驟：當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，所述消息頭包含所述消息體的特征信息，所述數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)源中的任一數(shù)據(jù)源；在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)，所述目的點(diǎn)根據(jù)所述消息頭確定；其中，所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑根據(jù)所述消息頭或者消息體確定。

【技術(shù)特征摘要】
1.一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，包括如下步驟：當(dāng)數(shù)據(jù)到達(dá)傳輸管道的接入點(diǎn)時(shí)，獲取所述數(shù)據(jù)包括的消息頭和消息體，所述消息頭包含所述消息體的特征信息，所述數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)源中的任一數(shù)據(jù)源；在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理，以將所述數(shù)據(jù)經(jīng)由所述傳輸管道的出口點(diǎn)傳輸至目的點(diǎn)，所述目的點(diǎn)根據(jù)所述消息頭確定；其中，所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑根據(jù)所述消息頭或者消息體確定。2.根據(jù)權(quán)利要求1所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，所述目的點(diǎn)包括：使用和/或存儲(chǔ)所述數(shù)據(jù)的終端。3.根據(jù)權(quán)利要求1所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體與預(yù)設(shè)標(biāo)準(zhǔn)的比較結(jié)果，確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將符合所述預(yù)設(shè)標(biāo)準(zhǔn)的數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。4.根據(jù)權(quán)利要求3所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理還包括：若所述消息體不符合所述預(yù)設(shè)標(biāo)準(zhǔn)，則將所述數(shù)據(jù)從所述傳輸管道中移除，或者將所述傳輸管道的出口點(diǎn)修正為錯(cuò)誤數(shù)據(jù)傳輸管道的接入點(diǎn)。5.根據(jù)權(quán)利要求1所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體確定所述目的點(diǎn)是否需要更改；若所述目的點(diǎn)需要更改，則根據(jù)更改后的目的點(diǎn)確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。6.根據(jù)權(quán)利要求5所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，根據(jù)所述消息體確定所述目的點(diǎn)是否需要更改包括：根據(jù)所述消息體判斷所述消息頭是否需要更改；當(dāng)判斷結(jié)果表明所述消息頭需要更改時(shí)，將所述消息頭更改為與所述消息體相對(duì)應(yīng)的消息頭，并確定所述目的點(diǎn)需要更改。7.根據(jù)權(quán)利要求1所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息頭確定所述數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。8.根據(jù)權(quán)利要求1所述的用于多數(shù)據(jù)源的流式數(shù)據(jù)處理方法，其特征在于，在所述消息頭的指示下對(duì)所述數(shù)據(jù)進(jìn)行傳輸和處理包括：根據(jù)所述消息體的類型確定是否需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)，所述子數(shù)據(jù)也包括消息頭和消息體；當(dāng)確定需要將所述數(shù)據(jù)分解為至少兩個(gè)子數(shù)據(jù)時(shí)，根據(jù)每一子數(shù)據(jù)的特征信息確定對(duì)應(yīng)的消息頭；針對(duì)每一子數(shù)據(jù)，根據(jù)所述子數(shù)據(jù)的消息頭確定對(duì)應(yīng)的目的點(diǎn)，并確定所述子數(shù)據(jù)在所述傳輸管道內(nèi)的傳輸路徑，以將所述子數(shù)據(jù)經(jīng)由所述傳輸路徑傳輸至所述出口點(diǎn)。9.一種用于多數(shù)據(jù)源的流式數(shù)據(jù)處理裝置，其特征...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：湯奇峰，曹禮洋，
申請(qǐng)(專利權(quán))人：晶贊廣告上海有限公司，
類型：發(fā)明
國(guó)別省市：上海,31