本發明專利技術提供了一種數據管理系統、方法及服務器,涉及數據管理技術領域,該數據管理系統在對不同業務系統進行數據管理的過程中,通過利用該系統中包含的各類層級及單元,能夠利用簡單有效的方式打通企業內部各業務系統的數據壁壘,實現了數據的統一規范,避免了數據的二義性和重復性,提升了企業的決策效率和運營效率。
【技術實現步驟摘要】
本專利技術涉及數據管理,尤其是涉及一種數據管理系統、方法及服務器。
技術介紹
1、大數據時代中的企業會涉及諸多類型的業務系統,每個業務系統對應特定的數據,由于不同的業務系統之間存在數據壁壘,且業務系統中的每個部門還存在數據墻的問題,導致不同部門及不同業務系統之間的數據存在二義性和重復性的問題,這對于企業來說難以實現對數據的綜合管理,降低了企業的決策效率和運營效能。現有技術中的數據管理方式雖然能在一定程度上解決該問題,但存在著數據管理過程復雜,數據同步管理困難的問題。
技術實現思路
1、有鑒于此,本專利技術的目的在于提供一種數據管理系統、方法及服務器,該系統通過內置的各類層級及單元,能夠利用簡單有效的方式打通企業內部各業務系統的數據壁壘,實現了數據的統一規范,避免了數據的二義性和重復性,提升了企業的決策效率和運營效率。
2、第一方面,本專利技術實施方式提供了一種數據管理系統,該系統包括:
3、數據源層,用于獲取數據源及其對應的數據類型參數、數據流向參數和數據量;
4、數據處理層,用于基于數據類型參數、數據流向參數和數據量確定數據處理策略,并利用數據處理策略對數據源進行數據請求處理后,得到數據源層的輸出數據;
5、數據存儲層,用于將輸出數據保存至預設數據倉庫中,并基于數據倉庫的數據架構參數構建數據交互通道;
6、數據服務層,用于根據數據交互通道的第一交互端構建數據源對應的數據查詢服務、數據分析服務、數據報表生成服務;
<
p>7、應用層,用于根據數據交互通道的第二交互端構建與數據查詢服務、數據分析服務、數據報表生成服務對應的訪問服務;8、數據安全層,用于確定數據交互通道中第一交互端與第二交互端之間的控制策略、加密策略和脫敏策略,并利用控制策略、加密策略和脫敏策略對第一交互端與第二交互端之間的交互數據進行處理;
9、監控與優化層,用于監控數據源層、數據處理層、數據存儲層、數據服務層、應用層以及數據安全層中的交互數據的運行狀態進行監控。
10、可選的,數據源層包括:
11、日志管理單元,用于獲取日志管理過程對應的第一數據源及其對應的第一數據類型參數、第一數據流向參數和第一數據量;
12、部門管理單元,用于獲取部門管理對應的第二數據源及其對應的第二數據類型參數、第二數據流向參數和第二數據量;
13、用戶管理單元,用于獲取用戶管理對應的第三數據源及其對應的第三數據類型參數、第三數據流向參數和第三數據量;
14、角色管理單元,用于獲取角色管理對應的第四數據源及其對應的第四數據類型參數、第四數據流向參數和第四數據量;
15、模塊管理單元,用于獲取模塊管理對應的第五數據源及其對應的第五數據類型參數、第五數據流向參數和第五數據量。
16、可選的,數據處理層,包括:
17、數據抽取單元,用于根據數據類型參數和數據流向參數確定對應的數據源,利用數據量確定數據源對應的數據處理策略,并利用數據處理策略對數據源進行數據請求處理后,得到數據源的抽取數據;
18、數據清洗單元,用于基于抽取數據對應的格式參數確定數據清洗規則,并利用數據清洗規則對抽取數據進行處理后,得到抽取數據對應的清洗數據;
19、數據裝載單元,用于基于清洗數據對應的轉換參數確定數據轉換規則,并利用數據轉換規則對清洗數據進行數據轉換后,得到輸出數據。
20、可選的,數據存儲層包括:
21、操作數據存儲單元,用于將輸出數據保存至數據倉庫中,并基于輸出數據進行查詢需求時對應的第一數據架構參數,構建數據查詢時對應的第一數據交互通道;
22、數據倉庫單元,用于獲取操作數據存儲單元中的輸出數據進行匯總、聚合、分析時對應的第二數據架構參數,并基于第二數據架構參數確定對輸出數據進行數據匯總、數據聚合以及數據分析時對應的第二數據交互通道;
23、數據集市單元,用于獲取操作數據存儲單元中的輸出數據進行可視化處理時對應的第三數據架構參數,并基于第三數據架構參數確定對輸出數據進行可視化處理時對應的第三數據交互通道。
24、可選的,數據服務層包括:
25、數據查詢服務單元,用于根據應用層對應的數據查詢服務接口,并基于數據交互通道中與應用層對應的數據查詢交互端構建數據查詢服務;
26、數據分析服務單元,用于根據應用層對應的數據分析服務接口,并基于數據交互通道中與應用層對應的數據分析交互端構建數據分析服務;
27、數據報表生成服務單元,用于根據應用層對應的數據報表生成服務接口,并基于數據交互通道中與應用層對應的數據報表生成交互端構建數據報表生成服務。
28、可選的,應用層,包括:
29、數據查詢訪問單元,用于根據數據查詢服務單元對應的數據查詢訪問接口,并基于數據交互通道中與數據查詢服務對應的數據查詢交互端構建數據查詢服務對應的第一訪問服務;
30、數據分析訪問單元,用于根據數據分析服務單元對應的數據分析訪問接口,并基于數據交互通道中與數據分析服務對應的數據分析交互端構建數據分析服務對應的第二訪問服務;
31、數據報表生成訪問單元,用于根據數據報表生成服務單元對應的數據報表訪問接口,并基于數據交互通道中與數據報表生成服務對應的數據報表交互端構建數據報表生成服務對應的第三訪問服務。
32、可選的,數據安全層,包括:
33、訪問控制單元,用于根據第一交互端與第二交互端之間的角色訪問控制參數生成控制策略,并利用控制策略對第一交互端與第二交互端之間的角色訪問控制交互數據進行訪問交互處理;
34、加密單元,用于根據第一交互端與第二交互端之間的加密控制參數生成加密策略,并利用加密策略對第一交互端與第二交互端之間的加密交互數據進行加密處理;
35、脫敏單元,用于根據第一交互端與第二交互端之間的脫敏控制參數生成脫敏策略,并利用脫敏策略對第一交互端與第二交互端之間的脫敏交互數據進行脫敏處理。
36、可選的,監控與優化層,包括:
37、可視化單元,用于利用服務監控工具獲取數據源層、數據處理層、數據存儲層、數據服務層、應用層以及數據安全層中交互數據對應的運行狀態參數,并基于運行狀態參數對交互數據進行監控;
38、日志分析單元,用于獲取交互數據對應的日志,基于運行狀態參數生成日志對應的分析參數,并利用分析參數對日志進行分析處理。
39、第二方面,本專利技術實施方式提供一種數據管理方法,該方法應用于第一方面提到的數據管理系統,該方法包括:
40、利用數據源層獲取數據源及其對應的數據類型參數、數據流向參數和數據量;
41、利用數據處理層,基于數據類型參數、數據流向參數和數據量確定數據處理策略,并利用數據處理策略對數據源進行數據請求處理后,得到數據源層的輸出數據;
42、利本文檔來自技高網
...
【技術保護點】
1.一種數據管理系統,其特征在于,所述系統包括:
2.根據權利要求1所述的數據管理系統,其特征在于,所述數據源層包括:
3.根據權利要求1所述的數據管理系統,其特征在于,所述數據處理層,包括:
4.根據權利要求1所述的數據管理系統,其特征在于,所述數據存儲層包括:
5.根據權利要求1所述的數據管理系統,其特征在于,所述數據服務層包括:
6.根據權利要求5所述的數據管理系統,其特征在于,所述應用層,包括:
7.根據權利要求1所述的數據管理系統,其特征在于,所述數據安全層,包括:
8.根據權利要求1所述的數據管理系統,其特征在于,所述監控與優化層,包括:
9.一種數據管理方法,其特征在于,所述方法應用于所述權利要求1至8任一項所述的數據管理系統,所述方法包括:
10.一種服務器,其特征在于,包括處理器和存儲器,所述存儲器存儲有能夠被所述處理器執行的計算機可執行指令,所述處理器執行所述計算機可執行指令以實現所述權利要求9所述的數據管理方法的步驟。
【技術特征摘要】
1.一種數據管理系統,其特征在于,所述系統包括:
2.根據權利要求1所述的數據管理系統,其特征在于,所述數據源層包括:
3.根據權利要求1所述的數據管理系統,其特征在于,所述數據處理層,包括:
4.根據權利要求1所述的數據管理系統,其特征在于,所述數據存儲層包括:
5.根據權利要求1所述的數據管理系統,其特征在于,所述數據服務層包括:
6.根據權利要求5所述的數據管理系統,其特征在于,所述應用層,包括:
...
【專利技術屬性】
技術研發人員:楊德義,劉立強,張燕,高曉雨,于玥,
申請(專利權)人:中國大冢制藥有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。