一種基于SOA的電網數據資產管理平臺的實現方法技術

本發明專利技術公開了一種基于SOA的電網數據資產管理平臺的實現方法，提供一種基于SOA的電網數據資產管理平臺系統，該系統包括依次互通連接的數據存儲層、數據持久層、技術組件層、應用組件層和展現層，所述應用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監測管理模塊、溯源管理模塊、價值評估管理模塊和流程管理模塊；本發明專利技術方法將企業數據作為核心資產管理，通過對運營數據的全過程有效管理和合理應用，不斷挖掘數據價值，實現數據向信息的轉化，繼而形成業務價值，實現核心業務能力提升、信息價值鏈擴展和企業運營模式優化；同時，為深化數據治理工作、提升數據的質量，為公司及時、快速的監控企業經營健康情況提供有效途徑。

Implementation method of power grid data asset management platform based on SOA

The invention discloses a method for realizing data grid asset management platform based on SOA, a SOA system based on data grid asset management platform, the system includes linking in a data storage layer, data persistence layer, component layer, application component layer and display layer, the application layer includes the basic components the information management module, management module, global view of daily monitoring management module, traceability management module, evaluation management module and process management module; the method of the invention, enterprise data as a core asset management, through the whole process of effective management of the operation data and the rational application of time value of data mining, data to realize the information transformation, then the formation of business value, the realization of core business capabilities, information value chain extension and enterprise operation mode optimization; at the same time, for the Deepen the data management work and improve the quality of data, and provide an effective way for the company to monitor the health situation of the enterprise timely and quickly.

【技術實現步驟摘要】
一種基于SOA的電網數據資產管理平臺的實現方法
本專利技術屬于電網數據資產管理
，具體是涉及一種基于SOA的電網數據資產管理平臺的實現方法。
技術介紹
隨著信息通信技術的不斷進步，其對中國電力工業的價值貢獻正處于量變到質變的關鍵節點，而變化的本質就是電力信息通信與電力生產以及企業經營管理的深度融合，其最終表現形式是電力數據的爆發性增長，即電力大數據。經過多年的信息化建設，電網企業已經走過了以流程為中心的階段，進入以數據為中心的階段，構建數字化企業，提升企業運營效率是電網發展的迫切需求。隨著電網企業經營業務發展及信息化水平的提高，急需高效管理、分析和利用不斷產生的各類海量業務數據，將數據逐步轉化為核心資產，充分挖掘數據資產價值，將企業管理從“業務驅動”轉向“數據驅動”。因此，電網企業逐漸認識到數據時永恒不變的，是企業始終存在的最有價值的資產。電網企業明確提出要將數據作為公司戰略資產進行管理，樹立數據資產管理理念，消除專業壁壘，實現企業數據資產利用效益的最大化。運營數據資產的歸口管理部門，要加強運營數據資產整合管理和分析利用，挖掘數據資產價值。然而當前的管理手段和機制遠遠無法滿足大數據平臺對海量數據資產的管理能力要求，主要包括：1)缺乏全局物理視圖：如想要知道某一個數據庫上面有多少數據表，有多少數據索引，有多少視圖時缺乏可視化視圖；2)缺乏不同維度字典視圖及相應IT化支持：在已存在系統中，有哪些關鍵業務數據，數據資產所有者是誰，誰做過修改或變更；3)缺乏問題溯源：某張報表的A指標是如何算出來的，原始數據來源是哪里；4)缺乏變更管理：為什么這個月數據庫里面又多了100張報表，為什么這張表的一個字段被刪掉了，什么時候被刪掉的；5)缺乏數據運行態管理：某張基礎表的數據量有多少，數據增長情況如何；6)缺乏審計稽核機制等，在設計文檔中某一個表有10個字段，然后在數據庫里面該表為什么有12個字段；企業數據資產管理的主要對象是數據，面對海量業務數據，僅靠傳統線下手段，數據臺賬管理、數據監測、數據模型、數據溯源等資產管理工作將難以開展，無法保證數據資產管理工作效率，因此亟需開發數據資產管理平臺，從數據資產核心工作出發，依托支撐平臺，實現對電網數據資產的全生命周期的監控和管理。
技術實現思路
專利技術目的：為了克服現有技術中存在的不足，本專利技術提供一種基于SOA的電網數據資產管理平臺的實現方法，將企業數據作為核心資產管理，通過對運營數據的全過程有效管理和合理應用，不斷挖掘數據價值，實現數據向信息的轉化，繼而形成業務價值，實現核心業務能力提升、信息價值鏈擴展和企業運營模式優化；同時，為深化數據治理工作、提升數據的質量，為公司及時、快速的監控企業經營健康情況提供有效途徑。技術方案：為實現上述目的，本專利技術的一種基于SOA的電網數據資產管理平臺的實現方法，提供一種基于SOA的電網數據資產管理平臺系統，該系統包括依次互通連接的數據存儲層、數據持久層、技術組件層、應用組件層和展現層，所述應用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監測管理模塊、溯源管理模塊、價值評估管理模塊和流程管理模塊；所述基本信息管理模塊用于對數據資產庫中數據資產進行基本信息管理；所述全局視圖管理模塊用于展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；所述日常監測管理模塊依據數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；所述溯源管理模塊用于從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；所述流程管理模塊用于將審核合格的數據資產進行歸檔；所述方法包括以下步驟：S1數據資產管理平臺首先從一組數據資產管理系統中實時采集數據交易信息，并將該交易數據存儲在數據資產庫中；S2所述基本信息管理模塊對數據資產庫中數據資產進行分類、臺賬、編碼、業務對象、數據模型、規則和關聯關系進行基本信息管理；S3所述全局視圖管理模塊通過圖形化方式展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；S4所述日常監測管理模塊依據所述數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；S5所述溯源管理模塊從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；S6所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；S7所述流程管理模塊用于將審核合格的數據資產進行歸檔。進一步地，所述步驟S1中，通過捕獲數據庫日志技術實現實時采集數據交易信息，具體包括以下步驟：S11在源端數據庫和目標端數據庫分別安裝Agent進程；S12應用系統對源端數據庫進行操作，源端數據庫中數據交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；S13源端數據庫Agent進程對日志文件依次進行日志探測、日志分析、日志緩存和交易合成交易操作，將已提交的交易信息傳遞到傳輸隊列，源端數據庫Agent進程對傳輸隊列中已提交的交易信息進行交易傳輸操作，將已提交的交易信息傳送給目標端數據庫；S14目標端數據庫Agent進程通過對已提交的交易信息依次進行交易接收、數據裝載操作，最后將已提交的交易信息存儲至目標端數據庫中。進一步地，所述步驟S13包括以下步驟：日志探測：源端數據庫Agent進程通過定期檢查判斷源端數據庫中是否有新的交易產生，當確認有新的交易產生時，源端數據庫Agent進程獲取日志文件組及最新日志文件位置，源端數據庫Agent進程對最新日志文件位置與上次讀取的日志文件位置之間的日志文件進行分析；日志分析：通過源端數據庫Agent進程中日志分析功能對通過日志探測步驟得到的日志文件進行分析，得到源端數據庫中全部交易指令，并將該交易指令轉換成緊湊數據格式；日志緩存：通過對源端數據庫日志文件分析得到的交易指令保存至日志緩存文件夾中，交易指令通過交叉方式保存至日志緩存文件夾中，一個交易指令包括若干條SQL指令，若干個交易指令中若干條SQL指令通過相互穿插方式存儲在日志緩存文件夾中，一個交易指令中若干條SQL指令通過非連續存儲方式存儲在日志緩存文件夾中，日志緩存文件夾中包括已提交的交易信息、未提交的交易信息和Rollback交易信息；交易合成：交易合成模塊對首先按照交易序號對SQL指令進行劃分，然后以交易為單位將已提交的交易信息傳遞到傳輸隊列，將未提交的交易信息保存在本地，將Rollback交易信息做丟棄處理；交易傳輸：源端數據庫Agent進程對傳輸隊列中已提交的交易信息進行交易傳輸操作，傳輸模塊從傳輸對隊列中按照先進先出的原則讀取交易信息并將該交易信息封裝成TCP/IP數據包，最后將交易數據包傳送給目標端數據庫的接收模塊。進一步地，在交易合成操作步驟中，交易合成本文檔來自技高網...

【技術保護點】
一種基于SOA的電網數據資產管理平臺的實現方法，其特征在于：提供一種基于SOA的電網數據資產管理平臺系統，該系統包括依次互通連接的數據存儲層、數據持久層、技術組件層、應用組件層和展現層，所述應用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監測管理模塊、溯源管理模塊、價值評估管理模塊和流程管理模塊；所述基本信息管理模塊用于對數據資產庫中數據資產進行基本信息管理；所述全局視圖管理模塊用于展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；所述日常監測管理模塊依據數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；所述溯源管理模塊用于從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；所述流程管理模塊用于將審核合格的數據資產進行歸檔；所述方法包括以下步驟：S1數據資產管理平臺首先從一組數據資產管理系統中實時采集數據交易信息，并將該交易數據存儲在數據資產庫中；S2所述基本信息管理模塊對數據資產庫中數據資產進行分類、臺賬、編碼、業務對象、數據模型、規則和關聯關系進行基本信息管理；S3所述全局視圖管理模塊通過圖形化方式展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；S4所述日常監測管理模塊依據所述數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；S5所述溯源管理模塊從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；S6所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；S7所述流程管理模塊用于將審核合格的數據資產進行歸檔。...

【技術特征摘要】
1.一種基于SOA的電網數據資產管理平臺的實現方法，其特征在于：提供一種基于SOA的電網數據資產管理平臺系統，該系統包括依次互通連接的數據存儲層、數據持久層、技術組件層、應用組件層和展現層，所述應用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監測管理模塊、溯源管理模塊、價值評估管理模塊和流程管理模塊；所述基本信息管理模塊用于對數據資產庫中數據資產進行基本信息管理；所述全局視圖管理模塊用于展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；所述日常監測管理模塊依據數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；所述溯源管理模塊用于從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；所述流程管理模塊用于將審核合格的數據資產進行歸檔；所述方法包括以下步驟：S1數據資產管理平臺首先從一組數據資產管理系統中實時采集數據交易信息，并將該交易數據存儲在數據資產庫中；S2所述基本信息管理模塊對數據資產庫中數據資產進行分類、臺賬、編碼、業務對象、數據模型、規則和關聯關系進行基本信息管理；S3所述全局視圖管理模塊通過圖形化方式展示數據資產全景視圖并對該數據資產全景視圖進行增刪改操作；S4所述日常監測管理模塊依據所述數據資產全景視圖對數據資產設置關鍵監控點，并日常監測數據資產關鍵監控點變化情況和其他情況；S5所述溯源管理模塊從數據資產源頭對數據資產進行摸底及梳理，基于梳理結果產生并管理數據資產溯源全圖，并對數據資產溯源全圖進行動態維護以及溯源下進行查詢功能，為數據資產人工監測工作提供支撐；S6所述價值評估管理模塊基于數據資產價值評估模型對所述數據資產溯源全圖中節點分別進行價值評估，并按照價值評估模型計算數據資產價值；S7所述流程管理模塊用于將審核合格的數據資產進行歸檔。2.根據權利要求1所述的基于SOA的電網數據資產管理平臺的實現方法，其特征在于：所述步驟S1中，通過捕獲數據庫日志技術實現實時采集數據交易信息，具體包括以下步驟：S11在源端數據庫和目標端數據庫分別安裝Agent進程；S12應用系統對源端數據庫進行操作，源端數據庫中數據交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；S13源端數據庫Agent進程對日志文件依次進行日志探測、日志分析、日志緩存和交易合成交易操作，將已提交的交易信息傳遞到傳輸隊列，源端數據庫Agent進程對傳輸隊列中已提交的交易信息進行交易傳輸操作，將已提交的交易信息傳送給目標端數據庫；S14目標端數據庫Agent進程通過對已提交的交易信息依次進行交易接收、數據裝載操作，最后將已提交的交易信息存儲至目標端數據庫中。3.根據權利要求2所述的基于SOA的電網數據資產管理平臺的實現方法，其特征在于：所述步驟S13包括以下步驟：日志探測：源...

【專利技術屬性】
技術研發人員：季勝鵬，胡健，李賢慧，林瑤，
申請(專利權)人：江蘇瑞中數據股份有限公司，
類型：發明
國別省市：江蘇,32