本發(fā)明專利技術(shù)涉及一種基于云計(jì)算架構(gòu)實(shí)現(xiàn)復(fù)雜事件處理的系統(tǒng)，其中包括事件分發(fā)節(jié)點(diǎn)、多個(gè)事件處理節(jié)點(diǎn)、事件處理節(jié)點(diǎn)組、事件去重節(jié)點(diǎn)、節(jié)點(diǎn)管理器。本發(fā)明專利技術(shù)還涉及一種利用該系統(tǒng)實(shí)現(xiàn)基于云計(jì)算架構(gòu)進(jìn)行復(fù)雜事件處理的方法。采用該種基于云計(jì)算架構(gòu)實(shí)現(xiàn)復(fù)雜事件處理的系統(tǒng)及其方法，使得整個(gè)系統(tǒng)可以承載高并發(fā)、大量的事件數(shù)據(jù)，保證了輸出事件的唯一性，并可以從其對(duì)應(yīng)的事件處理節(jié)點(diǎn)組中隨機(jī)選擇一個(gè)正常節(jié)點(diǎn)進(jìn)行復(fù)制，保證了上層業(yè)務(wù)的連續(xù)性，大大提高了復(fù)雜事件處理系統(tǒng)的整體可靠性，滿足了大數(shù)據(jù)流、高并發(fā)、高實(shí)時(shí)性數(shù)據(jù)分析要求，在系統(tǒng)運(yùn)行過(guò)程中保持業(yè)務(wù)連續(xù)性的條件下，完成對(duì)系統(tǒng)處理節(jié)點(diǎn)的動(dòng)態(tài)調(diào)整，工作性能穩(wěn)定可靠，適用范圍廣泛。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)軟件領(lǐng)域，特別涉及企業(yè)級(jí)高實(shí)時(shí)事件流分析系統(tǒng)領(lǐng)域，具體是指ー種。
技術(shù)介紹
復(fù)雜事件處理(Comp I ex Event Processing, CEP)技術(shù)是一種新興的實(shí)時(shí)數(shù)據(jù)分析處理技術(shù)。傳統(tǒng)數(shù)據(jù)挖掘技術(shù)是對(duì)海量數(shù)據(jù)進(jìn)行事后處理，其特點(diǎn)是數(shù)據(jù)量龐大、分析邏輯復(fù)雜；傳統(tǒng)的數(shù)據(jù)庫(kù)分析技術(shù)是對(duì)一定規(guī)模的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，其特點(diǎn)是數(shù)據(jù)量規(guī)模適中，分析邏輯較為簡(jiǎn)単。而復(fù)雜事件處理技術(shù)可以針對(duì)高速數(shù)據(jù)流進(jìn)行實(shí)時(shí)的分析，具有 數(shù)據(jù)量大，實(shí)時(shí)性高的特點(diǎn)。復(fù)雜事件處理技術(shù)可以被應(yīng)用于實(shí)時(shí)風(fēng)險(xiǎn)管理、實(shí)時(shí)產(chǎn)品營(yíng)銷等業(yè)務(wù)領(lǐng)域。一般地，復(fù)雜事件處理系統(tǒng)包括規(guī)則開(kāi)發(fā)工具、事件輸入流適配器、事件輸出流適配器、事件處理引擎、關(guān)系型數(shù)據(jù)庫(kù)等主要功能模塊。目前復(fù)雜事件處理主要包含以下幾個(gè)核心功能模塊事件處理規(guī)則開(kāi)發(fā)工具、事件處理引擎、外部數(shù)據(jù)庫(kù)、數(shù)據(jù)接入接出適配器。復(fù)雜事件處理的技術(shù)實(shí)現(xiàn)主要存在兩種模式，一種是傳統(tǒng)的數(shù)據(jù)庫(kù)或中間件廠商以關(guān)系型數(shù)據(jù)庫(kù)為核心，對(duì)數(shù)據(jù)庫(kù)核心進(jìn)行改造和優(yōu)化。另ー種是基于JVM (Java Virtual Machine)進(jìn)程的復(fù)雜事件處理技術(shù)，即在ー個(gè)進(jìn)程空間內(nèi)完成事件的接收、事件的處理、事件的輸出。以關(guān)系型數(shù)據(jù)庫(kù)為核心的復(fù)雜事件處理技木，需要在上層封裝所需要的數(shù)據(jù)接入適配、數(shù)據(jù)接出適配，其處理過(guò)程的本質(zhì)還是將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)進(jìn)行類SQL (StructuredQuery Language)的數(shù)據(jù)查詢。以JVM進(jìn)程為基礎(chǔ)的復(fù)雜事件處理技術(shù)，除了同樣要進(jìn)行接入、接出數(shù)據(jù)適配外，需要對(duì)事件處理語(yǔ)言EPL (Event Processing Language)進(jìn)行釋義，再對(duì)數(shù)據(jù)流進(jìn)行業(yè)務(wù)分析，其特點(diǎn)是處理過(guò)程中的業(yè)務(wù)數(shù)據(jù)大部分都保存在內(nèi)存中。目前CEP引擎的開(kāi)源實(shí)現(xiàn)以EsperTech公司的Esper處理引擎應(yīng)用較為廣泛。采用關(guān)系型數(shù)據(jù)庫(kù)為核心的復(fù)雜事件處理技木，由于數(shù)據(jù)庫(kù)架構(gòu)的制約，當(dāng)高實(shí)時(shí)數(shù)據(jù)量到達(dá)一定規(guī)模后，一方面容易產(chǎn)生數(shù)據(jù)庫(kù)I/o的瓶頸，另一方面類SQL語(yǔ)言在大數(shù)據(jù)量的場(chǎng)景中性能優(yōu)化較為復(fù)雜，適應(yīng)多變的業(yè)務(wù)需求成本較高。采用JVM進(jìn)程為核心的復(fù)雜事件處理技木，因?yàn)樘幚磉^(guò)程中相關(guān)的業(yè)務(wù)數(shù)據(jù)都在內(nèi)存中，所以I/o操作影響較小，但由于每個(gè)進(jìn)程可分配的內(nèi)存空間有限，當(dāng)發(fā)生大數(shù)據(jù)流時(shí)，容易造成JVM的內(nèi)存耗盡，進(jìn)ー步會(huì)導(dǎo)致業(yè)務(wù)的停滯。因此，JVM進(jìn)程為核心的復(fù)雜事件處理技術(shù)其性能瓶頸是內(nèi)存容量。同時(shí)需要注意的是，以內(nèi)存計(jì)算為核心的復(fù)雜事件處理技術(shù)，不具備業(yè)務(wù)數(shù)據(jù)的持久化操作，在各種原因發(fā)生故障導(dǎo)致進(jìn)程異常退出時(shí)，內(nèi)存中的數(shù)據(jù)將發(fā)生丟失，這將直接導(dǎo)致上層業(yè)務(wù)功能的不可用。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的是克服了上述現(xiàn)有技術(shù)中的缺點(diǎn)，提供ー種能夠滿足大數(shù)據(jù)流、高并發(fā)、高實(shí)時(shí)性數(shù)據(jù)分析要求、保持業(yè)務(wù)連續(xù)性、實(shí)現(xiàn)對(duì)系統(tǒng)處理節(jié)點(diǎn)的動(dòng)態(tài)調(diào)整、工作性能穩(wěn)定可靠、適用范圍較為廣泛的。為了實(shí)現(xiàn)上述的目的，本專利技術(shù)的如下該基于云計(jì)算架構(gòu)實(shí)現(xiàn)復(fù)雜事件處理的系統(tǒng)，其主要特點(diǎn)是，所述的系統(tǒng)包括事件分發(fā)節(jié)點(diǎn)，將高速到達(dá)的事件流分發(fā)到不同的事件處理節(jié)點(diǎn)中，并接收節(jié)點(diǎn)管理器的通知消息；多個(gè)事件處理節(jié)點(diǎn)，包含已有的通用事件處理引擎，接收來(lái)自所述的事件分發(fā)節(jié)點(diǎn)的事件，同時(shí)將處理后的新事件傳遞給事件去重節(jié)點(diǎn)，事件處理過(guò)程由所述的已有的通用事件處理引擎完成；事件處理節(jié)點(diǎn)組，包含至少二個(gè)所述的事件處理節(jié)點(diǎn)，且組內(nèi)的每個(gè)事件處理節(jié)點(diǎn)完成相同的復(fù)雜事件處理業(yè)務(wù)邏輯； 事件去重節(jié)點(diǎn)，對(duì)新事件進(jìn)行整理，去除重復(fù)事件所產(chǎn)生的輸出事件；節(jié)點(diǎn)管理器，對(duì)所述的事件處理節(jié)點(diǎn)進(jìn)行控制，并通知所述的事件分發(fā)節(jié)點(diǎn)事件處理相應(yīng)的通知消息。該基于云計(jì)算架構(gòu)實(shí)現(xiàn)復(fù)雜事件處理的系統(tǒng)中的通知消息為事件處理節(jié)點(diǎn)的新增或者事件處理節(jié)點(diǎn)的退出。該利用上述的系統(tǒng)實(shí)現(xiàn)基于云計(jì)算架構(gòu)進(jìn)行復(fù)雜事件處理的方法，其主要特點(diǎn)是，所述的方法包括復(fù)雜事件處理操作和復(fù)雜事件處理故障恢復(fù)操作，所述的復(fù)雜事件處理操作包括以下步驟(I)所述的事件分發(fā)節(jié)點(diǎn)進(jìn)行初始化操作；(2)所述的事件分發(fā)節(jié)點(diǎn)對(duì)輸入事件進(jìn)行分發(fā)操作；(3)所述的事件處理節(jié)點(diǎn)對(duì)接收到的事件進(jìn)行匹配和處理操作；(4)所述的事件去重節(jié)點(diǎn)接收各個(gè)所述的事件處理節(jié)點(diǎn)輸出的事件；(5)所述的事件去重節(jié)點(diǎn)進(jìn)行事件去重操作；(6)所述的事件去重節(jié)點(diǎn)將產(chǎn)生的事件發(fā)送至外部系統(tǒng)，由外部系統(tǒng)進(jìn)行后續(xù)業(yè)務(wù)處理；所述的復(fù)雜事件處理故障恢復(fù)操作，包括以下步驟(a)所述的節(jié)點(diǎn)管理器將發(fā)生故障的事件處理節(jié)點(diǎn)的標(biāo)識(shí)發(fā)送到所述的事件分發(fā)節(jié)點(diǎn)；(b)所述的事件分發(fā)節(jié)點(diǎn)根據(jù)該事件處理節(jié)點(diǎn)的標(biāo)識(shí)找到相應(yīng)的事件處理節(jié)點(diǎn)組；(C)所述的事件分發(fā)節(jié)點(diǎn)將發(fā)生故障的事件處理節(jié)點(diǎn)移出該事件處理節(jié)點(diǎn)組，即將發(fā)生故障的事件處理節(jié)點(diǎn)的標(biāo)識(shí)從與其對(duì)應(yīng)的事件處理節(jié)點(diǎn)組的標(biāo)識(shí)映射關(guān)系中刪除；(d)隨機(jī)選擇發(fā)生故障的事件處理節(jié)點(diǎn)所對(duì)應(yīng)的事件處理節(jié)點(diǎn)組中的一個(gè)正常工作的事件處理節(jié)點(diǎn)作為被復(fù)制節(jié)點(diǎn)；(e)調(diào)用所述的被復(fù)制節(jié)點(diǎn)的對(duì)外接口，暫停其業(yè)務(wù)處理工作；(f)調(diào)用所述的被復(fù)制節(jié)點(diǎn)的對(duì)外接口，讀取該被復(fù)制節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)上下文數(shù)據(jù)C;(g)調(diào)用所述的被復(fù)制節(jié)點(diǎn)的對(duì)外接ロ，讀取該被復(fù)制節(jié)點(diǎn)當(dāng)前已經(jīng)接收的最后ー個(gè)事件序號(hào)N ；(h)調(diào)用所述的被復(fù)制節(jié)點(diǎn)的對(duì)外接ロ，恢復(fù)該被復(fù)制節(jié)點(diǎn)的業(yè)務(wù)處理工作；(i)以啟動(dòng)進(jìn)程的方式，創(chuàng)建新的事件處理節(jié)點(diǎn)；( j )所述的新的事件處理節(jié)點(diǎn)進(jìn)行初始化，設(shè)置相應(yīng)的節(jié)點(diǎn)標(biāo)識(shí)；(k)所述的節(jié)點(diǎn)管理器將所述的業(yè)務(wù)狀態(tài)上下文數(shù)據(jù)C寫(xiě)入所創(chuàng)建的該新的事件處理節(jié)點(diǎn)中；(I)所述的節(jié)點(diǎn)管理器將記錄的當(dāng)前已經(jīng)處理的最后ー個(gè)事件序列號(hào)N寫(xiě)入所創(chuàng)建的該新的事件處理節(jié)點(diǎn)中； (m)所述的節(jié)點(diǎn)管理器同時(shí)將新的事件處理節(jié)點(diǎn)標(biāo)識(shí)、URL發(fā)送給所述的事件分發(fā)節(jié)點(diǎn)進(jìn)行注冊(cè)；(η)所述的事件分發(fā)節(jié)點(diǎn)將所述的新的事件處理標(biāo)識(shí)加入到相應(yīng)的事件處理節(jié)點(diǎn)組中，并更新事件處理節(jié)點(diǎn)組標(biāo)識(shí)與事件處理節(jié)點(diǎn)標(biāo)識(shí)的映射關(guān)系；(O)所述的節(jié)點(diǎn)管理器將事件序列號(hào)N、新的事件處理節(jié)點(diǎn)標(biāo)識(shí)發(fā)送至所述的事件分發(fā)節(jié)點(diǎn)，通知該事件分發(fā)節(jié)點(diǎn)發(fā)送后續(xù)事件；(P)所述的事件分發(fā)節(jié)點(diǎn)向所創(chuàng)建的所述的新的事件處理節(jié)點(diǎn)發(fā)送序號(hào)為N的事件以及后續(xù)的事件；(q)所創(chuàng)建的所述的新的事件分發(fā)節(jié)點(diǎn)對(duì)序列號(hào)N的及以后的事件進(jìn)行正常處理。該實(shí)現(xiàn)基于云計(jì)算架構(gòu)進(jìn)行復(fù)雜事件處理的方法中的事件分發(fā)節(jié)點(diǎn)的初始化操作，包括以下步驟；( 11)加載事件類型，為每個(gè)事件實(shí)例找到唯一的事件類型；(12)加載EPL列表，所述的EPL列表中的每條記錄均包含EPL唯一標(biāo)識(shí)和EPL語(yǔ)句；( 13)加載事件處理節(jié)點(diǎn)組列表，ー個(gè)事件處理組標(biāo)識(shí)將對(duì)應(yīng)多個(gè)事件處理節(jié)點(diǎn)URL,所述的事件處理節(jié)點(diǎn)組列表中的每條記錄均包含事件處理節(jié)點(diǎn)組標(biāo)識(shí)和事件處理節(jié)點(diǎn) URL ；(14)以事件類型和EPL列表為基礎(chǔ)生成事件類型與EPL關(guān)系映射表，其中ー個(gè)事件類型對(duì)應(yīng)到多個(gè)EPL語(yǔ)句，同時(shí)，ー個(gè)EPL語(yǔ)句中包含多個(gè)事件類型，該事件類型與EPL關(guān)系映射表中的每條記錄均包含事件類型和EPL唯一標(biāo)識(shí)；(15)以EPL列表和事件處理節(jié)點(diǎn)組為列表生成EPL與事件處理節(jié)點(diǎn)組映射關(guān)系表，每個(gè)EPL語(yǔ)句都唯一對(duì)應(yīng)ー個(gè)事件處理節(jié)點(diǎn)組標(biāo)識(shí)，該EPL與事件處理節(jié)點(diǎn)組映射關(guān)系表中的每條記錄均包含EPL唯一標(biāo)識(shí)和事件處理節(jié)點(diǎn)組標(biāo)識(shí)；(16)根據(jù)事件本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于云計(jì)算架構(gòu)實(shí)現(xiàn)復(fù)雜事件處理的系統(tǒng)，其特征在于，所述的系統(tǒng)包括：事件分發(fā)節(jié)點(diǎn)，將高速到達(dá)的事件流分發(fā)到不同的事件處理節(jié)點(diǎn)中，并接收節(jié)點(diǎn)管理器的通知消息；多個(gè)事件處理節(jié)點(diǎn)，包含已有的通用事件處理引擎，接收來(lái)自所述的事件分發(fā)節(jié)點(diǎn)的事件，同時(shí)將處理后的新事件傳遞給事件去重節(jié)點(diǎn)，事件處理過(guò)程由所述的已有的通用事件處理引擎完成；事件處理節(jié)點(diǎn)組，包含至少二個(gè)所述的事件處理節(jié)點(diǎn)，且組內(nèi)的每個(gè)事件處理節(jié)點(diǎn)完成相同的復(fù)雜事件處理業(yè)務(wù)邏輯；事件去重節(jié)點(diǎn)，對(duì)新事件進(jìn)行整理，去除重復(fù)事件所產(chǎn)生的輸出事件；節(jié)點(diǎn)管理器，對(duì)所述的事件處理節(jié)點(diǎn)進(jìn)行控制，并通知所述的事件分發(fā)節(jié)點(diǎn)事件處理相應(yīng)的通知消息。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王延炯，
申請(qǐng)(專利權(quán))人：上海普元信息技術(shù)股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。