一種數據自動轉換與存儲的方法及系統技術方案

本發明專利技術公開了一種數據自動轉換與存儲系統，包括數據提取器，用于從不同的數據源中提取原始數據，傳遞給數據轉換器；數據轉換器，將從不同的數據源提取的原始數據轉換成特定的數據格式；數據緩存器，與數據轉換器相連，將數據轉換器轉換得到的數據結果組織成統一的數據結構；數據存儲器，用于將緩存器中的數據存儲到目標數據庫中。本發明專利技術開放了各種系統信息配置，支持按照現場需求進行系統定制，從而能夠完成企業現有各種業務系統的異構數據集成，有效整合數據。

【技術實現步驟摘要】

本專利技術涉及工業信息化領域，特別涉及一種數據自動轉換與存儲的方法及系統。
技術介紹
目前工業企業一般都是實施了多套計算機系統，包括生產監控的實時數據庫系統、能源計量系統、完成特定功能的業務系統軟件，以及辦公自動化系統、財務系統、ERP等等，這些系統通常都是在不同時期投資、由不同施工單位、采用不同技術完成的，所采用的數據存儲形式、數據的組織結構均存在差異，而且開放出來的數據接口也各不相同，無法實現數據的無障礙交換，逐漸造成了運行維護難、信息溝通難、改造升級投入大等問題。同時這些系統所形成的大量的、珍貴的生產數據，以各種結構獨立存儲在各個系統中，難于統一分析，難于形成對企業生產決策有效的輔助信息，所以目前企業面臨的不是沒有數據進行分析，而且數據太多、太分散無法進行統一、有效分析。本專利技術的目標就是要解決這類問題，為企業提供生產數據自動轉換與存儲的方法及系統，自動提取各個系統的數據，進行數據轉換和存儲，形成統一格式的企業生產信息庫，為企業生產數據分析、經營決策提供全面、準確的數據支持。
技術實現思路
本專利技術提供的一種數據自動轉換與存儲的方法及系統，能夠將工業企業現有各種業務系統的異構數據進行統一集成，從而提供及時、全面、可靠的數據基礎。本專利技術提供的數據自動轉換與存儲系統包括:數據提取器，用于從不同的數據源中提取原始數據，傳遞給數據轉換器；數據轉換器，將從不同的數據源提取的原始數據轉換成特定的數據格式；數據緩存器，與數據轉換器相連，將數據轉換器轉換得到的數據結果組織成統一的數據結構，以數據表為單位來組織數據項，數據表包含維度、數據項和數據記錄，維度用于描述和標識數據記錄，數據記錄中記錄了具體的數據項值；數據存儲器，用于將數據緩存器中以數據表為單位組織的數據與關系型數據庫中的物理表進行映射，最終將緩存數據寫入對應的數據庫表中，完成數據的存儲；執行調度器，根據系統配置文件對各個過程進行調度和控制。本專利技術還提供一種數據自動轉換與存儲方法，該方法包括:步驟1，從不同的數據源中提取原始數據，傳遞給數據轉換器；步驟2，將從不同的數據源提取的原始數據轉換成特定的數據格式；步驟3，將數據轉換器轉換得到的數據結果組織成統一的數據結構，以數據表為單位來組織數據項，數據表包含維度、數據項和數據記錄，維度用于描述和標識數據記錄，數據記錄中記錄了具體的數據項值；步驟4，判斷目標數據庫中是否存在對應所述數據表的名稱的數據庫表，如果不存在則創建該名稱的數據庫表，然后判斷對應維度名稱的表字段是否存在，如果不存在則創建該維度名稱的表字段，接下來判斷對應數據項名稱的表字段是否存在，如果不存在則創建該數據項名稱的表字段，最后判斷對應維度值組合的數據記錄是否已存在，如果存在，則生成數據記錄更新命令，如果不存在，則生成數據記錄插入命令，命令執行后就完成了數據的存儲。本專利技術的方案提出了數據提取接口庫及數據轉換算法庫，提出了數據轉換算法的在線編譯環境和插件集成環境，從而使系統具備了良好的靈活性和適應能力。擴展數據提取接口庫，就能夠接入更多的數據源；擴展數據轉換算法，就能夠滿足更多的數據轉換需求。另外本專利技術設計了統一的數據存儲結構，并且通過定義數據分析維度，結構化存儲數據信息，為信息組織、分析提供了強大支持。本專利技術還設計了功能完備的執行調度器，并且具有完善的開放性，支持各類信息的用戶配置，包括各類執行周期的配置、數據源的配置、數據提取的配置、數據轉換方法的配置、數據存儲格式配置、數據存儲的配置等等。附圖說明圖1是本專利技術數據自動轉換與存儲方法的基本流程圖；圖2是本專利技術數據自動轉換與存儲系統的結構框圖；圖3是本專利技術數據自動轉換與存儲系統中數據轉換器的結構框圖；圖4是本專利技術數據緩存器中數據表結構示意圖；圖5是本專利技術數據存儲器執行流程圖；圖6是本專利技術執行調度器調度流程圖。具體實施例方式為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本專利技術進一步詳細說明。本專利技術提出一種數據自動轉換與存儲的方法及系統，解決例如工業企業各種生產執行系統、信息化系統所產生的各種異構數據的統一集成問題。圖1為本專利技術數據自動轉換與存儲方法的基本流程圖。參照圖1，本專利技術的方法包括數據提取S1、數據轉換S2和數據存儲S3三個步驟。在步驟SI進行數據提取，該步驟負責從數據源提取原始業務數據，利用一個數據提取接口庫來實現多種數據提取方式，針對不同數據源選用合適的數據提取方式，快速高效的實現數據提取。針對實時數據庫系統，通過集成不同實時數據庫產品的API接口，只需配置對應的數據點位號即可完成數據提取。主要包括以下幾種方式的提取:1)針對以通用關系數據庫作為數據存儲的系統，提供標準SQL數據查詢支持，可以編寫SQL語句或者執行存儲過程進行數據的提取。2)針對以數據文件并公開數據文件結構的系統，通過數據文件接口進行數據提取。3)針對不公開數據存儲結構，但是提供數據通信接口的系統，可以編寫接口適配器，再以插件形式集成到系統中，完成數據提取。在步驟S2，在數據提取之后執行數據轉換，數據從不同的數據源提取到系統中后，經過數據轉換，將提取到的業務系統的操作數據、原始數據，轉換為適合進行信息分析的數據結構。數據轉換過程集成了豐富的數據轉換算法實現方式，其組成結構如圖3所示，包含一個數據轉換算法庫，可以預置大量通用的、一般性的、基礎性的數據轉換算法，實現一般性的數據轉換需求。在數據轉換過程中，還提供一個高級語言腳本環境，用戶可以直接編寫數據轉換邏輯，系統自動編譯自動執行，完成定制的數據轉換，并且用戶可以根據需要隨時在線修改腳本，系統自動重新編譯、自動執行新的算法腳本。數據轉換過程還提供了一個插件集成環境，數據轉換算法可以以插件的形式集成到系統中進行數據轉換。這個插件集成環境，定義了插件實現方式，包括定義了插件的三個接口，分別是獲取轉換算法的接口、獲取轉換算法輸入參數和輸出參數定義的接口、執行算法并返回計算結果的接口，還定義了轉換算法數據輸入和結果返回的數據結構。用戶只要遵照這一實現方式，就可以將復雜的數據轉換邏輯編寫成算法插件，放到系統中，就可以動態配置和應用這些算法進行數據轉換。在步驟S3，在數據轉換之后執行數據存儲，負責將數據轉換結果存儲到目標數據庫中，為提高系統數據處理能力和系統性能，在執行存儲之前，先按照統一格式對轉換后的數據進行緩存，同一張數據表的數據全部完成轉換后，一次性將這張表的數據進行存儲，批量執行，避免了單個數據單次執行，提高系統執行效率和性能。數據存儲過程完成數據的集中、統一存儲，并且完成數據存儲前的各種邏輯判斷處理，這些邏輯包括但不限于:判斷數據庫表是否存在，不存在則自動創建；判斷數據項是否存在，不存在則自動創建相應數據格式的數據項；判斷目標維度是否存在，不存在則自動創建目標維度；判斷目標維度值(多維度需組合判斷)的數據項是否存在，不存在則插入數據，已存在則更新數據。本專利技術的方法還通過定時器來支持定義數據轉換存儲的不同時間周期，在滿足執行周期時，能夠自動執行數據提取、數據轉換、數據緩存、數據存儲過程，完成本周期的數據提取、轉換、存儲一系列任務，再進入下一周期的判斷，周而復始，隨著時間的推移形成完備的基礎信息庫。圖2為本專利技術數據自動轉換與存儲的系統結構圖。參本文檔來自技高網...

【技術保護點】
一種數據自動轉換與存儲系統，該系統包括：數據提取器，用于從不同的數據源中提取原始數據，傳遞給數據轉換器；數據轉換器，將從不同的數據源提取的原始數據轉換成特定的數據格式；數據緩存器，與數據轉換器相連，將數據轉換器轉換得到的數據結果組織成統一的數據結構，以數據表為單位來組織數據項，數據表包含維度、數據項和數據記錄，維度用于描述和標識數據記錄，數據記錄中記錄了具體的數據項值；數據存儲器，用于將數據緩存器中以數據表為單位組織的數據與關系型數據庫中的物理表進行映射，最終將緩存數據寫入對應的數據庫表中，完成數據的存儲；執行調度器，根據系統配置文件對各個過程進行調度和控制。

【技術特征摘要】
1.一種數據自動轉換與存儲系統，該系統包括: 數據提取器，用于從不同的數據源中提取原始數據，傳遞給數據轉換器； 數據轉換器，將從不同的數據源提取的原始數據轉換成特定的數據格式； 數據緩存器，與數據轉換器相連，將數據轉換器轉換得到的數據結果組織成統一的數據結構，以數據表為單位來組織數據項，數據表包含維度、數據項和數據記錄，維度用于描述和標識數據記錄，數據記錄中記錄了具體的數據項值； 數據存儲器，用于將數據緩存器中以數據表為單位組織的數據與關系型數據庫中的物理表進行映射，最終將緩存數據寫入對應的數據庫表中，完成數據的存儲； 執行調度器，根據系統配置文件對各個過程進行調度和控制。2.按權利要求1所述的系統，其特征在于，數據提取器前端有一個數據提取接口庫，支持多種數據提取方式，并預置了多種通用提取接口，并且具有良好的開放性，支持新接口動態庫的動態接入。3.按權利要求1所述的系統，其特征在于，數據提取器根據以下方式調用接口庫中的接口進行數據的提取:針對實時數據庫系統，通過集成不同實時數據庫的API接口，配置對應的數據點位號來完成數據提取；針對以通用關系數據庫作為數據存儲的系統，提供標準SQL數據查詢支持，通過編寫SQL語句或者執行存儲過程進行數據的提取；針對以數據文件并公開數據文件結構的系統，通過數據文件接口進行數據提取；針對不公開數據存儲結構，但是提供數據通信接口的系統，通過編寫接口適配器，再以插件形式集成到系統中來完成數據提取。4.按權利要求1所述的系統，其特征在于，所述數據轉換器進一步包括: 通用數據轉換算法提供裝置，其包含有該系統預定義的各種算法，對適用這些算法的數據進行轉換處理； 高級語言在線編譯環境提供裝置，用于直接在編譯環境中在線編寫數據轉換腳本，腳本編寫完成后，編譯器自動編譯成可執行代碼并緩存，供數據轉換器調用進行數據轉換； 數據轉換算法插件集成環境提供裝置，用于獨立編寫算法插件，按照插件環境規定的插件接口定義進行插件實現，將編寫好的插件放到系統轉換算法插件目錄下，插件環境動態加載該插件，供數據轉換器調用完成數據轉換。5.按權利要求1所述的系統，其特征在于，該系統進一步包括執行調度器，由其調度和控制系統的運行，他的執行依據是系統配置文件，根據轉換周期配置判斷是否啟動一次轉換存儲，在一個轉換存儲周期中，依據數據提取配置進行數據提取，依據數據轉換配置執行數據轉換，依據數據存儲配置完成數據存儲。6.一種數據自動轉換與存儲方法，該方法包括: 步驟1，從不同的數據源中提取原始數據，傳遞給數據轉...

【專利技術屬性】
技術研發人員：林紅權，辛若家，馬增良，牛鵬飛，田曉娟，
申請(專利權)人：中國科學院自動化研究所，北京三博中自科技有限公司，
類型：發明
國別省市：