一種基于插件方式的交通行業數據質量監測平臺制造技術

一種基于插件方式的交通行業數據質量監測平臺，該監測平臺包括數據接入插件、數據檢查插件、spring應用服務器、異步消息隊列；本發明專利技術首先定義平臺的框架與插件接口以及程序結構，然后按所述接口和程序結構分別開發平臺框架和插件，從而平臺框架和每個插件具有統一的接口，能夠減少開發多種種類的插件接口或平臺接口的時間，從而縮短插件化平臺的開發時間。根據本發明專利技術的上述基于插件方式的數據質量監測平臺，此平臺可靈活擴展數據接入和數據監測功能，只需根據行業數據的特殊需求開發設計相關的數據接入和質量監測插件，大大提高了開發效率和業務靈活處置能力。

A plug-in based data quality monitoring platform for traffic industry

A quality monitoring platform plug-in traffic industry based on the data of the monitoring platform includes data access plug-ins, data check plugin, spring application server, asynchronous message queue; the invention firstly define the platform framework and plug-in interface and program structure, and then according to the interface and program structure are developing platform and plug-ins, and platform the frame and each plug-in has a unified interface, can reduce the development of various type of plug-in interface or platform interface, so as to shorten the development time of the plug-in platform. According to the data quality monitoring platform based on plug-in, this platform is flexible and extensible data access and data monitoring function, only need to design data access and quality monitoring according to the special needs of the development of plug-in industry data, which greatly improves the efficiency and flexibility of business disposal capacity.

【技術實現步驟摘要】
一種基于插件方式的交通行業數據質量監測平臺
本專利技術涉及計算機信息服務領域，具體地，涉及一種基于插件方式的交通行業數據質量監測平臺。
技術介紹
隨著信息技術的發展,城市交通信息化以及智慧城市建設的不斷深入，各種城市交通運行管理直接產生的數據、相關行業和領域的數據，以及公眾互動提供的數據都對城市交通的管理和運行產生著直接作用或間接影響。這些數據不僅包含來自交通信息化系統、其他行業系統中的結構化數據，也包含特定數據交換規范組織的半結構化數據。然而由于傳輸設備故障、路面交通狀況和環境因素的異常以及各種信息采集設備的連續性工作特點所引發的間歇性工作故障，都會使所采集的數據出現丟失、錯誤、不精確。如果直接采用有質量問題的數據提供給交通應用，必然會導致應用結果不準確、不可靠的問題。因此，在應用交通業務數據時必須對其進行相應的質量監測、評價和控制，高質量的基礎交通數據得出的結果才具有高的可信度，才能正確的反應實際交通狀況。目前影響交通行業數據質量的問題主要包括：數據缺失、數據錯誤以及交通異常狀況下的數據。其中對缺失數據的監測較為簡單，即在監測時刻判斷數據應到而未到。對錯誤數據的監測方法主要有閾值法，各交通行業數據應符合一定的閾值范圍，可通過設定閾值，從而判斷平臺接入的數據是否為錯誤數據。Java語言的動態加載技術完美的支持了插件化開發，基于java插件化開發生成的平臺系統能夠使得所有功能模塊均可運行在同一個系統平臺上，可以很好地解決新功能植入或功能模塊定制，降低了平臺內模塊之間的耦合性，便于各個模塊的獨立維護，這樣可大大降低開發、測試的成本以及升級的風險。
技術實現思路
有鑒于此，本專利技術提供一種基于插件的交通行業數據質量監測平臺，可提高交通行業數據質量的監測性能和靈活性，能夠根據行業數據的特點和趨勢靈活配置插件監測方法，全方位的對采集到的交通行業數據進行質量監測，一旦發現問題，可及時告知數據使用者。本專利技術通過以下技術手段解決上述技術問題：如圖3所示，基于插件方式的交通行業數據質量監測平臺，該監測平臺包括數據接入插件、數據檢查插件、spring應用服務器、異步消息隊列；數據接入插件包括GPS數據接入插件、刷卡數據接入插件、檢測器數據接入插件，數據檢查插件包括極大值檢查插件、趨勢變化檢查插件、數據到達檢查插件；數據接入插件、數據檢查插件通過JMS與異步消息隊列進行交互，數據接入插件、數據檢查插件均與spring應用服務器連接；spring應用服務器中，spring容器啟動，加載數據接入和檢查插件實例；根據業務數據特性，依配置的檢查流程執行質量檢測；對于問題數據以郵件、短信方式通知數據使用者。該監測平臺的實施包括如下步驟：1)定義spring應用服務器中的平臺框架與數據接入插件、數據檢查插件的接口以及spring應用服務器中的平臺程序結構，平臺框架與每個接入和檢查插件之間具有統一的接口定義，減少開發各類的插件接口或平臺接口的時間，從而縮短插件化軟件平臺系統的開發時間，提高開發效率；2)采用spring應用服務器，加載交通行業各種數據接入和質量監測插件Bean到容器的進程上下文中，平臺自身不需要管理javaBean的初始化，都由spring來管理其生命周期；3)通過GPS數據接入插件、刷卡數據接入插件、路面監測器數據接入插件等接入路面監測器、AFC刷卡數據、公交GPS、出租GPS數據，對接入的實時數據進行預處理；4)數據接入插件和數據質量檢查插件之間可通過異步消息方式進行通信，當數據接入成功后，接入插件會發送異步消息通知數據質量檢查插件對接入的數據進行質量檢查；通過消息中間件進行點對點的異步消息的分發，監測平臺上的接入和檢查插件實例都可以接收到消息，并執行相應的業務流程操作。5)配置數據質量監測流程，選取數據檢查插件，根據交通行業數據業務要求，配置相應的數據檢查流程，此平臺提供了內置的極值、趨勢變化、數據到達情況等檢查插件。本專利技術提供一種基于插件方式的交通行業數據質量監測平臺。該數據質量監測平臺基于平臺+功能插件的模式來實現對交通行業實時數據質量監測的需求。其中功能監測插件均為java插件，并且各插件統一接口，以供平臺調用。功能插件自定義監測優先級，能夠解決數據質量監測的順序問題。平臺在啟動時，通過動態加載spring上下文加載檢查插件到容器中，由異步消息驅動進行數據質量監測。本專利技術首先定義平臺的框架與插件接口以及程序結構，然后按所述接口和程序結構分別開發平臺框架和插件，從而平臺框架和每個插件具有統一的接口，能夠減少開發多種種類的插件接口或平臺接口的時間，從而縮短插件化平臺的開發時間。根據本專利技術的上述基于插件方式的數據質量監測平臺，此平臺可靈活擴展數據接入和數據監測功能，只需根據行業數據的特殊需求開發設計相關的數據接入和質量監測插件，大大提高了開發效率和業務靈活處置能力。附圖說明圖1為基于插件的交通行業數據質量監測平臺框架流程圖。圖2為java插件的基本結構圖。圖3為基于插件的交通行業數據質量監測平臺框架結構圖。圖4為交通行業數據接入流程圖具體實施方式一種基于插件方式的交通行業數據質量監測平臺，本方法一般包括如下步驟：圖1為基于插件的交通行業數據質量監測平臺框架流程圖，整個數據質量監測平臺包含了交通行業數據接入和數據質量監測功能。如圖1所示，軟件開發人員根據交通行業數據業務的實際需求開發數據接入插件和質量監測插件，將交通各個業務領域的數據通過數據集接入插件接入到數據質量監測平臺后，通過異步消息機制通知質量監測插件執行數據質量檢查。1)定義平臺框架與插件的接口以及程序結構圖2為java插件的基本結構圖，如圖3所示，定義了示例性接口：2)將所開發的交通行業數據監測插件應用容器spring啟動，加載各種數據接入和質量監測插件Bean到容器上下文中；a.配置數據接入及檢查插件b.數據接入插件實例初始化c.質量檢查插件實例初始化d.數據接入消息驅動服務啟動e.質量檢查消息驅動服務啟動3)實時接入路面監測器、AFC刷卡數據、公交GPS、出租GPS等實時數據，對接入的實時數據預處理；如圖4所示，依照此流程將行業數據接入到數據質量監測平臺中，流程如下：a.數據接入消息服務啟動，通過quartz定時任務輪詢；b.數據源獲取消息命令發送消息到消息中間件；c.解析命令消息，獲取消息時間點內的數據；d.如果數據接入正常，銷毀消息；e.數據接入不正常，比對是否達到報警時間；f.如果報警時間達到，則發送消息異常，銷毀消息；g.否則發送到延誤數據消息隊列；h.消息驅動服務從延誤數據消息隊列接收消息放入到延誤數據消息池中；i.定時從延誤數據消息池中獲取消息發送到命令消息隊列中。在對業務數據進行預處理時，要去除唯一屬性、重復屬性及可忽略字段，通過填補遺漏數據、消除異常數據、平滑噪聲數據，以及糾正不一致數據，去掉數據中的噪音、填充空值、丟失值和處理不一致數據。4)選取數據檢查插件，根據交通行業數據業務要求，配置相應的數據檢查流程，此平臺提供了內置的極值、趨勢變化、數據到達情況等檢查插件。驅動數據檢查插件對數據的合法性和有效性進行檢驗。該數據檢查引擎訂閱了消息隊列中的數據檢查消息，由JMS消息驅動加載已配置的相應的數據檢查插件。在該數據質量監測平臺上，本文檔來自技高網...

【技術保護點】
基于插件方式的交通行業數據質量監測平臺，其特征在于：該監測平臺包括數據接入插件、數據檢查插件、spring應用服務器、異步消息隊列；數據接入插件包括GPS數據接入插件、刷卡數據接入插件、檢測器數據接入插件，數據檢查插件包括極大值檢查插件、趨勢變化檢查插件、數據到達檢查插件；數據接入插件、數據檢查插件通過JMS與異步消息隊列進行交互，數據接入插件、數據檢查插件均與spring應用服務器連接；spring應用服務器中，spring容器啟動，加載數據接入和檢查插件實例；根據業務數據特性，依配置的檢查流程執行質量檢測；對于問題數據以郵件、短信方式通知數據使用者。

【技術特征摘要】
1.基于插件方式的交通行業數據質量監測平臺，其特征在于：該監測平臺包括數據接入插件、數據檢查插件、spring應用服務器、異步消息隊列；數據接入插件包括GPS數據接入插件、刷卡數據接入插件、檢測器數據接入插件，數據檢查插件包括極大值檢查插件、趨勢變化檢查插件、數據到達檢查插件；數據接入插件、數據檢查插件通過JMS與異步消息隊列進行交互，數據接入插件、數據檢查插件均與spring應用服務器連接；spring應用服務器中，spring容器啟動，加載數據接入和檢查插件實例；根據業務數據特性，依配置的檢查流程執行質量檢測；對于問題數據以郵件、短信方式通知數據使用者。2.根據權利要求1所述的基于插件方式的交通行業數據質量監測平臺，其特征在于：該監測平臺的實施包括如下步驟：1)定義spring應用服務器中的平臺框架與數據接入插件、數據檢查插件的接口以及spring應用服務器中的平臺程序結構，平臺框架與每個接入和檢查插件之間具有統一的接口定義，減少開發各類的插件接口或平臺接口的時間，從而縮短插件化軟件平臺系統的開發時間，提高開發效率；2)采用spring應用服務器，加載交通行業各種數據接入和質量監測插件Bean到容器的進程上下文中，平臺自身不需要管理javaBean的初始化，都由spring來管理其生命周期；...

【專利技術屬性】
技術研發人員：方秀川，陳智宏，孟凡強，
申請(專利權)人：北京通途永久科技有限公司，
類型：發明
國別省市：北京,11