面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法技術

本發明專利技術涉及一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其步驟：構建內存數據倉庫一體機存儲模型：在數據庫一體機架構上，采用維表集中存儲，事實表分布存儲策略；設置存儲引擎；設置行列存儲模型轉換策略；在數據庫一體機上的實時OLAP查詢處理任務分解為在主節點事實表行緩存、影子數據列緩存以及存儲服務器節點事實表主分片上的分布式OLAP查詢處理任務，實現基于實時數據上的OLAP分析處理。本發明專利技術實現了將事務處理引擎的行存儲記錄高效地轉換為分析引擎的列存儲記錄，并支持在實時數據上的OLAP分析處理。本發明專利技術適用于面向內存數據倉庫一體機在更新操作中的行列存儲結構轉換應用場景。

Memory data warehouse ranking and storage conversion implementation method for database integrated machine

The invention relates to a data warehouse for storage memory ranks database machine conversion method, which comprises the following steps: constructing data warehouse machine memory storage model in database machine architecture, using the dimension table for centralized storage, distribution of the fact table storage strategy; storage engine; set up the ranks of the storage model conversion strategy; real-time OLAP one machine database query processing on the task decomposition for the master node in fact table rows, columns of data cache and cache shadow storage server node fact table OLAP main block distributed query processing tasks, to achieve real-time data processing based on OLAP analysis. The invention realizes the conversion of the row storage record of the transaction processing engine into the column storage record of the analysis engine efficiently, and supports the OLAP analysis processing on the real-time data. The invention is suitable for the memory storage data warehouse integrated machine, and the row and column storage structure in the updating operation converts the application scene.

【技術實現步驟摘要】
面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法
本專利技術涉及一種內存數據倉庫存儲轉換方法，特別是關于一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法。
技術介紹
隨著大內存、多核處理器等硬件技術和內存數據庫技術的發展，內存OLAP處理性能不斷提高，大數據內存實時分析處理成為主流的技術。傳統的事務處理引擎通常采用行存儲模型，優化更新操作性能，而分析處理則通常采用列存儲引擎，優化數據訪問和處理性能。當前主流數據庫開始支持事務處理引擎和分析處理引擎集成技術，如OracleDatabasein-memory，SQLserver2016等既支持事務處理，也支持分析處理。但當前主要的實現技術是為事務處理引擎增加一個列存儲引擎加速分析處理性能，列存儲引擎可以看作是事務處理引擎的影子數據(shadowdata)，支持或不支持數據同步更新，主要技術難點是事務處理引擎的行存儲結構數據如何高效地轉換為列存儲結構數據。列存儲引擎不僅要按列存儲數據，還需要通過數據壓縮技術進一步提高列存儲引擎的數據存儲和處理效率。當前代表性的技術，如SAPHANA采用L1行存儲引擎、L2非壓縮列存儲引擎和采用數據壓縮的主存儲列引擎來支持實時OLAP分析處理，在事務型行數據轉換為分析型列數據時還需要解決列壓縮以及字典表更新等問題，需要處理復雜的數據轉換問題。在面向數據庫一體機架構的內存數據倉庫系統中，少量高端服務器組成的高性能服務器集群和大量中低端服務器組成的存儲服務器集群提供了不對稱的存儲和計算性能，不僅需要解決實時更新數據的行列存儲結構轉換任務，還需要根據數據庫一體機的硬件架構特點將事務處理與分析處理分配在不同的集群，需要優化設計不同類型數據在不同集群上的存儲策略，不同類型的數據在集群節點內及集群節點間的存儲策略和存儲模型轉換策略。
技術實現思路
針對上述問題，本專利技術的目的是提供一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，該方法實現了將事務處理引擎的行存儲記錄高效地轉換為分析引擎的列存儲記錄，并支持在實時數據上的OLAP分析處理。為實現上述目的，本專利技術采取以下技術方案：一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于包括以下步驟：1)構建內存數據倉庫一體機存儲模型：在數據庫一體機架構上，采用維表集中存儲，事實表分布存儲策略；2)設置存儲引擎；3)設置行列存儲模型轉換策略；4)在數據庫一體機上的實時OLAP查詢處理任務分解為在主節點事實表行緩存中未進行列轉換的行組、影子數據列緩存以及存儲服務器節點事實表主分片上的分布式OLAP查詢處理任務，實現基于實時數據上的OLAP分析處理。所述步驟1)中，數據倉庫中的維表集中存儲于數據庫一體機高性能服務器集群，維表采用多維關系模型，即維表記錄映射為維度成員，維表主鍵映射為維度坐標。在維表增加一個刪除標志列D_Flag，邏輯標識刪除的維記錄，該維記錄對應的主鍵值能分配給新插入的維記錄。所述步驟1)中，事實表在數據庫一體機架構中采用分布式存儲策略，事實表以水平分片方式存儲在存儲服務器集群節點，事實表分片采用列存儲，列按照優化的行數劃分為列分片，列分片作為列數據壓縮存儲單位。所述步驟2)中，具體設置方法如下：2.1)維表采用行存儲引擎，利用成熟的事務型內存數據庫系統支持插入、修改或刪除的更新操作；維表上的查詢為選擇和投影操作，當維表較大且查詢選擇率較低時，為維屬性創建位圖索引；2.2)事實表存儲分為兩種類型：2.2.1)在數據庫一體機高性能服務器集群維表存儲引擎中設置事實表緩存，用于緩存插入的行存儲結構事實表記錄，同時設置一個內存列存儲結構事實表緩存，用于實現事實表記錄的內存行列轉換；2.2.2)主要事實表數據以水平分片方式存儲于存儲服務器集群；事實表存儲采用列存儲，事實表列按優化配置參數劃分為列分片，每個列分片是一個獨立的列數據壓縮存儲單位，獨立設置列分片壓縮算法及相關壓縮元數據。所述步驟3)中，具體設置方法如下：3.1)維表映射為維度，在OLAP查詢處理時維表映射為一個向量列，表示OLAP查詢在維表上的選擇和投影操作結果；當維表用數據庫存儲時，設置維表主鍵列為AUTO_INCREMENT類型，自動為維表分配連續的主鍵值，刪除的記錄產生缺失的主鍵值；3.2)事實表數據的行列轉換包括從高性能服務器集群事實表緩存到列緩存，從列緩存到閃存，從高性能服務器集群閃存到存儲服務器集群閃存，從存儲服務器閃存到內存，從內存行組到內存壓縮列分片。所述步驟3.2)中，具體步驟如下：3.2.1)高性能服務器集群事實表緩存以優化的行組數對插入記錄進行邏輯分區，以行組為單位異步地將插入的事實表行記錄以列為單位存儲在列緩存中，作為事實表行記錄的影子列，不參與查詢處理；3.2.2)以循環隊列的方式組織以行組為單位的列緩存，在隊列尾插入新的行組列數據；3.2.3)列緩存異步地以列為單位將內存行組列存儲為閃存行組列，完成閃存存儲的內存行組列被循環隊列頭新插入的行組列覆蓋，復用列緩存空間；3.2.4)閃存行組列異步地按事實表分布存儲策略從高性能服務器集群節點復制到對應的存儲服務器集群節點閃存中；3.2.5)存儲服務器閃存中的行組列加載為內存行組列，作為存儲服務器集群節點上的影子列，影子列同樣采用循環隊列結構組織內存行組列；3.2.6)以異步的方式將若干個行組列整合為列存儲結構的列分片，列分片作為獨立的數據壓縮單元，根據數據特征和數據訪問需求選擇壓縮方法，列分片與其他事實表列分片組成存儲服務器節點事實表分片。所述步驟4)中，實時OLAP查詢處理根據不同的優化策略執行步驟如下：4.1)在高性能服務器主節點，事實表緩存使用行存儲引擎，行緩存以優化的邏輯行組為數據管理單位，采用異步的方式通過后臺工作線程將行記錄轉換為列記錄，存儲于影子列緩存，事實表緩存作為事實表最新數據分片，參與OLAP的查詢處理執行；4.2)事實表行緩存記錄向影子列緩存記錄轉換時使用循環隊列管理影子列行組數據，影子列緩存數據只用于行列轉換，不提供對OLAP查詢處理的支持；4.3)內存影子列行組異步地轉換為閃存列存儲結構的影子塊，將內存列數據物化，釋放內存影子列行組空間，與事實表緩存中的其他行存儲數據共同提供主節點上的OLAP查詢處理支持；4.4)存儲服務器集群節點完成閃存影子塊數據復制時，如果高性能服務器節點閃存空間不足，由存儲服務器節點閃存影子塊接替高性能服務器節點閃存影子塊提供OLAP查詢處理，并釋放高性能服務器節點閃存中相應影子塊的存儲空間；4.5)存儲服務器節點采用內存循環隊列加載閃存影子塊數據，并將其對應的行組列按事實表列分片粒度進行列合并、列壓縮，生成列分片，添加到存儲服務器節點事實表分片鏈接表，更新事實表分片數據集；4.6)在完成事實表列分片的持久存儲后，由事實表分片承擔相應的OLAP查詢處理任務，存服務器節點閃存和高性能服務器節點閃存中相應的影子塊數據不再承擔OLAP查詢處理任務，并釋放其占用的存儲空間。所述步驟4.3)中，當主節點內存空間不足時，影子塊作為事實表緩存記錄的閃存復本能提供基于閃存的列存儲結構事實表分片數據訪問，提供基于閃存影子塊的OLAP查詢處理任務。本專利技術由于采取以上技術方案，其具有以下優點：1、數據倉庫本文檔來自技高網...

【技術保護點】
一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于包括以下步驟：1)構建內存數據倉庫一體機存儲模型：在數據庫一體機架構上，采用維表集中存儲，事實表分布存儲策略；2)設置存儲引擎；3)設置行列存儲模型轉換策略；4)在數據庫一體機上的實時OLAP查詢處理任務分解為在主節點事實表行緩存中未進行列轉換的行組、影子數據列緩存以及存儲服務器節點事實表主分片上的分布式OLAP查詢處理任務，實現基于實時數據上的OLAP分析處理。

【技術特征摘要】
1.一種面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于包括以下步驟：1)構建內存數據倉庫一體機存儲模型：在數據庫一體機架構上，采用維表集中存儲，事實表分布存儲策略；2)設置存儲引擎；3)設置行列存儲模型轉換策略；4)在數據庫一體機上的實時OLAP查詢處理任務分解為在主節點事實表行緩存中未進行列轉換的行組、影子數據列緩存以及存儲服務器節點事實表主分片上的分布式OLAP查詢處理任務，實現基于實時數據上的OLAP分析處理。2.如權利要求1所述的面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于：所述步驟1)中，數據倉庫中的維表集中存儲于數據庫一體機高性能服務器集群，維表采用多維關系模型，即維表記錄映射為維度成員，維表主鍵映射為維度坐標。3.如權利要求2所述的面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于：在維表增加一個刪除標志列D_Flag，邏輯標識刪除的維記錄，該維記錄對應的主鍵值能分配給新插入的維記錄。4.如權利要求1所述的面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于：所述步驟1)中，事實表在數據庫一體機架構中采用分布式存儲策略，事實表以水平分片方式存儲在存儲服務器集群節點，事實表分片采用列存儲，列按照優化的行數劃分為列分片，列分片作為列數據壓縮存儲單位。5.如權利要求1所述的面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于：所述步驟2)中，具體設置方法如下：2.1)維表采用行存儲引擎，利用成熟的事務型內存數據庫系統支持插入、修改或刪除的更新操作；維表上的查詢為選擇和投影操作，當維表較大且查詢選擇率較低時，為維屬性創建位圖索引；2.2)事實表存儲分為兩種類型：2.2.1)在數據庫一體機高性能服務器集群維表存儲引擎中設置事實表緩存，用于緩存插入的行存儲結構事實表記錄，同時設置一個內存列存儲結構事實表緩存，用于實現事實表記錄的內存行列轉換；2.2.2)主要事實表數據以水平分片方式存儲于存儲服務器集群；事實表存儲采用列存儲，事實表列按優化配置參數劃分為列分片，每個列分片是一個獨立的列數據壓縮存儲單位，獨立設置列分片壓縮算法及相關壓縮元數據。6.如權利要求1所述的面向數據庫一體機的內存數據倉庫行列存儲轉換實現方法，其特征在于：所述步驟3)中，具體設置方法如下：3.1)維表映射為維度，在OLAP查詢處理時維表映射為一個向量列，表示OLAP查詢在維表上的選擇和投影操作結果；當維表用數據庫存儲時，設置維表主鍵列為AUTO_INCREMENT類型，自動為維表分配連續的主鍵值，刪除的記錄產生缺失的主鍵值；3.2)事實表數據的行列轉換包括從高性能服務器集群事實表緩存到列緩存，從列緩存到閃存，從高性能服務器集群閃存到存儲服務器集群閃存，從存儲服務器閃存到內存，從內存行組到內存壓縮列分片。7.如權利要求6所述的面向數據庫一體機的內存數據倉...

【專利技術屬性】
技術研發人員：張延松，王珊，杜小勇，
申請(專利權)人：中國人民大學，
類型：發明
國別省市：北京,11