數據庫集群的并行壓縮海量數據裝載方法技術

本發明專利技術涉及一種數據庫集群的并行壓縮海量數據裝載方法，其主要技術特點是：包括步驟1：建立包括數據裝載工具、驅動程序和數據庫集群的并行壓縮海量數據裝載的組件架構；步驟2、客戶端通過數據裝載工具和驅動程序向數據庫集群發送數據裝載命令，獲取各個數據庫節點的連接信息后，連接各個數據庫并且發送需要裝載的數據；數據庫集群服務器給客戶端提供集群各個數據庫節點的連接信息以及各個表的相關信息；數據庫節點接收客戶端發送過來的數據并存儲下來。本發明專利技術使用海量數據通信協議以及并行優化處理和壓縮優化處理方法，充分利用服務器的多CPU和網絡資源并融合在海量數據裝載過程中，提升了數據庫集群的搭建速度。

【技術實現步驟摘要】

本專利技術屬于數據庫
，特別涉及一種。
技術介紹
在數據庫集群的搭建過程中，涉及到海量數據的裝載。現有的海量數據裝載方法存在以下一些問題1、使用數據遷移工具或備份恢復工具依次準備集群的各個數據庫節點的數據相當耗時，同時當前缺少一種直接向數據庫集群裝載數據的公開方法；2、普通的數據插入SQL語句在進行數據裝載時需要做大量的額外操作，例如數據類型轉換、數據有效性驗證等，影響了數據裝載的性能；3、存儲在服務器CPU、網絡等資源不能充分利用。
技術實現思路
本專利技術的目的在于克服現有技術的不足，提供一種能夠充分利用資源且裝載速度快的。本專利技術解決其技術問題是采取以下技術方案實現的一種，包括以下步驟步驟1:建立包括數據裝載工具、驅動程序和數據庫集群的并行壓縮海量數據裝載的組件架構；步驟2 :客戶端通過數據裝載工具和驅動程序向數據庫集群發送數據裝載命令，獲取各個數據庫節點的連接信息后，連接各個數據庫并且發送需要裝載的數據；數據庫集群服務器給客戶端提供集群各個數據庫節點的連接信息以及各個表的相關信息；數據庫節點接收客戶端發送過來的數據并存儲下來。而且，所述數據裝載工具用于解析文本數據文件或數據庫的單個表數據，組織成裝載數據的SQL語句，通過調用驅動程序API將數據裝載到數據庫集群的指定表中。而且，所述的驅動程序提供訪問數據庫集群的應用程序編程接口供客戶端通過SQL來訪問數據庫集群；該驅動程序包括驅動程序API、連接管理、Statement對象、句柄管理、數據類型轉換、資源緩存和網絡通信協議模塊。而且，所述的數據庫集群由數據庫集群服務器、元數據庫和數據庫節點構成。而且，所述驅動程序采用海量數據裝載通信協議和Insert Bulk語法進行裝載數據處理，其處理過程為客戶端的驅動程序首先通過數據庫集群服務器獲得各個數據庫節點的連接信息以及表的結構，然后通知數據庫節點將要裝載的表、列、數據類型以及海量數據裝載選項，數據庫節點接收到裝載請求后將目標表加鎖并驗證裝載列及其數據類型的合法性，驗證成功后等待接收數據，接下來客戶端以結果集的形式向各個數據庫節點發送數據，發送完后以命令字結束，數據庫節點返回成功裝載的行數或錯誤信息。而且，所述客戶端通過驅動程序向數據庫集群發送數據時，采用并行優化裝載方法進行，該并行優化裝載方法為對于單節點數據的裝載，驅動程序采用雙緩沖區的模式實現了數據的異步傳輸，當主線程向某個節點裝載數據時，首先將數據存入數據緩沖區，在數據緩沖區滿了以后，驅動程序會將數據緩沖區中的數據移動到發送緩沖區，發送線程發現發送緩沖區中存在數據后，負責將數據發送到后臺，從而實現數據的異步傳輸。而且，所述并行優化裝載包括復制表并發裝載和循環表、哈希表并發裝載而且，所述客戶端通過驅動程序向數據庫集群發送數據時，采用壓縮優化處理方法進行處理，包括驅動程序的壓縮發送數據處理和服務器端的接收與解壓數據處理。而且，所述的壓縮發送數據處理方法包括以下步驟⑴等待發送緩沖區中存在數據；⑵如果發送緩沖區中的數據少于最小壓縮值，則構造非壓縮數據包；將非壓縮數據包發送到服務器；跳轉到步驟⑴；⑶否則①如果CPU空閑率較高，則采用高壓縮比壓縮算法對數據進行壓縮；②否則采用高速壓縮算法對數據進行壓縮；③如果壓縮后的數據比原數據小，則構造壓縮數據包并標記壓縮類型；將壓縮數據包發送到服務器，跳轉到步驟⑴；④否則，構造非壓縮數據包；將非壓縮數據包發送到服務器；跳轉到步驟⑴。而且，所述的接收與解壓數據處理方法包括以下步驟⑴服務器端等待接收數據包；⑵接收到一個數據包；①如果數據包屬于壓縮包，則判斷壓縮包所使用的壓縮算法；根據壓縮算法對壓縮包進行解壓；得到解壓后的數據，跳轉到步驟⑶；②如果數據包不屬于壓縮包，則獲取數據包中的數據，跳轉到步驟⑶；⑶將數據存儲到表中；⑷跳轉到步驟⑴。本專利技術的優點和積極效果是本專利技術通過建立數據裝載工具、驅動程序和數據庫集群三級架構的數據裝載方法，使用海量數據通信協議解決了裝載速度不夠快的問題，并通過并行優化處理和壓縮優化處理，充分利用服務器的多CPU和網絡資源并融合在海量數據裝載過程中，進一步優化了性能，從而提升了數據庫集群的搭建速度。本方法不僅適用于神通數據庫集群，也可供其他數據庫集群在實施數據裝載方案或進行裝載性能優化時使用。附圖說明圖1是本專利技術的數據庫集群的數據裝載組件架構圖；圖2是本專利技術的驅動程序架構圖；圖3是本專利技術的數據庫集群拓撲圖；圖4是本專利技術的數據庫集群數據裝載流程圖；圖5是本專利技術的海量數據裝載通信協議處理流程圖；圖6-1是本專利技術普通的記錄行結構示意圖；圖6-2是本專利技術大對象的記錄行結構示意圖圖7是本專利技術的數據集結構示意圖。具體實施例方式以下結合附圖對本專利技術實施例做進一步詳述一種，包括以下步驟步驟1:建立包括數據裝載工具、驅動程序和數據庫集群的并行壓縮海量數據裝載的組件架構。在向數據庫集群裝載數據時，需要建立如圖1所示的組件架構，包括數據裝載工具、驅動程序和數據庫集群。通過該組件架構，即使在無法獲知成熟商業數據庫集群產品的組件架構情況下，數據庫集群也可以像數據庫一樣有直接操作它的驅動程序，通過驅動程序執行數據裝載的SQL語句，另外提供調用驅動程序的數據裝載工具，將數據文件或其他數據庫的數據最終裝載到數據庫集群中。下面對組件架構的各個部分分別進行說明I、數據裝載工具用于解析文本數據文件或數據庫的單個表數據，組織成裝載數據的SQL語句，通過調用驅動程序的API接口將數據裝載到數據庫集群的指定表中。數據庫裝載工具的語法為cimp-M host port user password dbname—0 host port user passworddbname-Qquery-T tabIename-N rownumcimp-F fiIename-E coIend-V rowend-c enclose—r—O host portuser passworddbname-T tabIename其中，cimp為數據裝載工具可執行程序名稱，各個參數說明如下-M :指定源數據庫的主機地址，端口，用戶名，密碼，數據庫名。-O :指定集群服務器的主機地址，端口，用戶名，密碼，數據庫名。-Q :在源數據庫中執行的查詢語句。-F :數據文件名，包含文件路徑。-R :裝載結果文件名。-E :列分隔符，該參數可選，默認為
。-V :行分隔符,該參數可選，Windows環境默認為\r\n, Linux環境默認為\n。-c :列引用符，包含在此符號內的數據都當成一列。該參數可選，默認不使用該參數。-r :是否去掉文件首行，該參數可選，不指定該選項時不去掉文件首行，指定該選項則會去掉文件首行。-T :指定往集群服務器遷移的表名。-N:設置往集群的表遷移數據時，分批提交事務所間隔的記錄行數，默認為100000。2、驅動程序驅動程序是一個訪問數據庫集群的應用程序編程接口，開發人員可以使用編程語言通過SQL來訪問數據庫集群。如圖2所示，驅動程序架構包括驅動程序API、連接管理、Statement對象、句柄管理、數據類型轉換、資源緩存和網絡通信協議模塊，各個模塊的功能如下驅動程序AP1:驅動程序的對外接口，功能由連接管理、Statement對象和句柄管理三個模塊實本文檔來自技高網...

【技術保護點】
一種數據庫集群的并行壓縮海量數據裝載方法，其特征在于：包括以下步驟：?步驟1：建立包括數據裝載工具、驅動程序和數據庫集群的并行壓縮海量數據裝載的組件架構；?步驟2：客戶端通過數據裝載工具和驅動程序向數據庫集群發送數據裝載命令，獲取各個數據庫節點的連接信息后，連接各個數據庫并且發送需要裝載的數據；數據庫集群服務器給客戶端提供集群各個數據庫節點的連接信息以及各個表的相關信息；數據庫節點接收客戶端發送過來的數據并存儲下來。

【技術特征摘要】

【專利技術屬性】
技術研發人員：謝衛平，馮柯，蔣志勇，劉碧楠，李陽，羊逢文，李曉鵬，
申請(專利權)人：天津神舟通用數據技術有限公司，
類型：發明
國別省市：