一種遠(yuǎn)程數(shù)據(jù)同步的方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)實(shí)施例涉及通信技術(shù)領(lǐng)域，尤其涉及一種遠(yuǎn)程數(shù)據(jù)同步的方法和裝置，用于快速、高效率的實(shí)現(xiàn)遠(yuǎn)距離傳輸數(shù)據(jù)。本發(fā)明專利技術(shù)是實(shí)施例中，服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；其中，M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；服務(wù)器根據(jù)M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；服務(wù)器針對M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從M條數(shù)據(jù)記錄中刪除N條數(shù)據(jù)記錄中的N?1條數(shù)據(jù)記錄；N為于等于2、且小于等于M的整數(shù)；服務(wù)器將M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端；從而實(shí)現(xiàn)了快速、高效率的實(shí)現(xiàn)遠(yuǎn)距離傳輸數(shù)據(jù)。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種遠(yuǎn)程數(shù)據(jù)同步的方法和裝置
本專利技術(shù)實(shí)施例涉及通信領(lǐng)域，尤其涉及一種遠(yuǎn)程數(shù)據(jù)同步的方法和裝置。
技術(shù)介紹
隨著社會的發(fā)展和科技的進(jìn)步，用戶越來越依賴網(wǎng)絡(luò)系統(tǒng)來處理各種事務(wù)。網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行依賴于數(shù)據(jù)中心系統(tǒng)的穩(wěn)定運(yùn)行，一旦數(shù)據(jù)由于某種原因丟失，將會使得某些功能陷入癱瘓，對用戶造成不可估量的損失。為了保證源數(shù)據(jù)庫中數(shù)據(jù)安全，通常采用備份數(shù)據(jù)的方式保證數(shù)據(jù)的連續(xù)性，將服務(wù)器上的源數(shù)據(jù)庫的數(shù)據(jù)遠(yuǎn)程同步至目標(biāo)數(shù)據(jù)庫，以便于在服務(wù)器出現(xiàn)故障時，能使用目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)。現(xiàn)有技術(shù)中，數(shù)據(jù)庫之間的遠(yuǎn)程同步主要采用數(shù)據(jù)庫本身數(shù)據(jù)的復(fù)制技術(shù)，數(shù)據(jù)庫本身數(shù)據(jù)的數(shù)據(jù)量大，在遠(yuǎn)距離傳輸時，傳輸帶寬需求大而且傳輸速度很慢，容易出現(xiàn)傳輸中斷的問題。可見，現(xiàn)有技術(shù)中，無法快速、高效率的遠(yuǎn)距離傳輸數(shù)據(jù)；因此，亟需一種遠(yuǎn)程數(shù)據(jù)同步方法，快速、高效率的實(shí)現(xiàn)遠(yuǎn)距離傳輸數(shù)據(jù)。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)實(shí)施例提供一種遠(yuǎn)程數(shù)據(jù)同步的方法和裝置，用以快速、高效率的實(shí)現(xiàn)遠(yuǎn)距離傳輸數(shù)據(jù)。本專利技術(shù)實(shí)施例提供一種遠(yuǎn)程數(shù)據(jù)同步的方法，包括：服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；其中，所述M為大于等于2的整數(shù)；所述服務(wù)器根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；所述服務(wù)器針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄；其中，所述N為大于等于2、且小于等于M的整數(shù)；所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端；其中，所述K為大于等于1、且小于等于M的整數(shù)。可選地，所述從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄，包括：從所述M條數(shù)據(jù)記錄中，將所述N條數(shù)據(jù)記錄中除日期最近的一條數(shù)據(jù)記錄之外的N-1條數(shù)據(jù)記錄刪除。可選地，所述服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄，包括：所述服務(wù)器獲取事件流格式的日志文件；所述服務(wù)器解析所述事件流格式的日志文件，得到所述日志文件中包括的行變換對象流格式的所述M條數(shù)據(jù)記錄。可選地，所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端，包括：通過L個調(diào)度進(jìn)程將所述K條數(shù)據(jù)記錄中轉(zhuǎn)換成L個工作對象流；其中，所述L個調(diào)度進(jìn)程中的每個調(diào)度進(jìn)程對應(yīng)轉(zhuǎn)換所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述L為大于等于1的整數(shù)；所述服務(wù)器將轉(zhuǎn)換得到的L個工作對象流發(fā)送給所述終端。可選地，所述服務(wù)器將轉(zhuǎn)換得到的L個工作對象流發(fā)送給所述終端，包括：所述服務(wù)器對得到的L個工作對象流中的每個工作對象流進(jìn)行序列化；所述服務(wù)器對序列化后的每個工作對象流進(jìn)行壓縮和加密，將得到的壓縮和加密之后的每個工作對象流發(fā)送給所述終端。本專利技術(shù)實(shí)施例提供另一種遠(yuǎn)程數(shù)據(jù)同步的方法，包括：終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中的K條數(shù)據(jù)記錄；其中，所述K為大于等于1、且小于等于M的整數(shù)；所述M為大于等于2的整數(shù)；所述終端將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫；其中，所述K條數(shù)據(jù)記錄是所述服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄之后得到的；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；所述N為大于等于2、且小于等于M的整數(shù)。可選地，所述終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄，包括：所述終端接收所述服務(wù)器發(fā)送的序列化、且進(jìn)行壓縮和加密后的所述L個工作對象流中的每個工作對象流；其中，所述L個工作對象流為所述K條數(shù)據(jù)記錄通過L個調(diào)度進(jìn)程轉(zhuǎn)換得到的；所述L個調(diào)度進(jìn)程中的每個調(diào)度進(jìn)程對應(yīng)轉(zhuǎn)換所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述L為大于等于1的整數(shù)；所述終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄之后，將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫之前，還包括：所述終端將所述每個工作對象流進(jìn)行解密和解壓縮，并對所述解密和解壓縮后的每個工作對象流進(jìn)行反序列化，得到K條數(shù)據(jù)記錄。可選地，所述終端將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫，包括：所述終端通過N個線程將所述K條數(shù)據(jù)記錄中并行發(fā)送至所述數(shù)據(jù)庫；其中，所述N個線程中的每個線程對應(yīng)發(fā)送所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述N為大于等于1的整數(shù)。本專利技術(shù)實(shí)施例提供一種用于遠(yuǎn)程數(shù)據(jù)同步的服務(wù)器，包括：獲取單元，用于獲取日志文件中的M條數(shù)據(jù)記錄；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；其中，所述M為大于等于2的整數(shù)；處理單元，用于根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄；其中，所述N為大于等于2、且小于等于M的整數(shù)；發(fā)送單元，用于所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端；其中，所述K為大于等于1、且小于等于M的整數(shù)。可選地，所述處理單元，用于：從所述M條數(shù)據(jù)記錄中，將所述N條數(shù)據(jù)記錄中除日期最近的一條數(shù)據(jù)記錄之外的N-1條數(shù)據(jù)記錄刪除。可選地，所述獲取單元，用于：獲取事件流格式的日志文件；所述處理單元，用于：解析所述事件流格式的日志文件，得到所述日志文件中包括的行變換對象流格式的所述M條數(shù)據(jù)記錄。可選地，所述處理單元，用于：通過L個調(diào)度進(jìn)程將所述K條數(shù)據(jù)記錄中轉(zhuǎn)換成L個工作對象流；其中，所述L個調(diào)度進(jìn)程中的每個調(diào)度進(jìn)程對應(yīng)轉(zhuǎn)換所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述L為大于等于1的整數(shù)；發(fā)送單元，用于：將轉(zhuǎn)換得到的L個工作對象流發(fā)送給所述終端。可選地，所述處理單元，用于：為得到的L個工作對象流中的每個工作對象流分配序列號；將分配序列號后的每個工作對象流進(jìn)行壓縮和加密；所述發(fā)送單元，用于：將得到的壓縮和加密之后的每個工作對象流發(fā)送給所述終端。本專利技術(shù)實(shí)施例提供一種用于遠(yuǎn)程數(shù)據(jù)同步的終端，包括：接收單元，用于接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中的K條數(shù)據(jù)記錄；其中，所述K為大于等于1、且小于等于M的整數(shù)；所述M為大于等于2的整數(shù)；發(fā)送單元，用于將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫；其中，所述K條數(shù)據(jù)記錄是所述服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄之后得到的；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；所述N為大于等于2、且小于等于M的整數(shù)。可選地，所述接收單元，用于：接收所述服務(wù)器發(fā)送的分配了序列號的、且進(jìn)行壓縮和加密后的所述L個工作對象流中的每個工作對象流；其中，所述L個工作對象流為所述K條數(shù)據(jù)記錄本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種遠(yuǎn)程數(shù)據(jù)同步方法，其特征在于，包括：服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；其中，所述M為大于等于2的整數(shù)；所述服務(wù)器根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；所述服務(wù)器針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N?1條數(shù)據(jù)記錄；其中，所述N為大于等于2、且小于等于M的整數(shù)；所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端；其中，所述K為大于等于1、且小于等于M的整數(shù)。

【技術(shù)特征摘要】
1.一種遠(yuǎn)程數(shù)據(jù)同步方法，其特征在于，包括：服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；其中，所述M為大于等于2的整數(shù)；所述服務(wù)器根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；所述服務(wù)器針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄；其中，所述N為大于等于2、且小于等于M的整數(shù)；所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端；其中，所述K為大于等于1、且小于等于M的整數(shù)。2.如權(quán)利要求1所述的方法，其特征在于，所述從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄，包括：從所述M條數(shù)據(jù)記錄中，將所述N條數(shù)據(jù)記錄中除日期最近的一條數(shù)據(jù)記錄之外的N-1條數(shù)據(jù)記錄刪除。3.如權(quán)利要求1所述的方法，其特征在于，所述服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄，包括：所述服務(wù)器獲取事件流格式的日志文件；所述服務(wù)器解析所述事件流格式的日志文件，得到所述日志文件中包括的行變換對象流格式的所述M條數(shù)據(jù)記錄。4.如權(quán)利要求2所述的方法，其特征在于，所述服務(wù)器將所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄發(fā)送給終端，包括：通過L個調(diào)度進(jìn)程將所述K條數(shù)據(jù)記錄中轉(zhuǎn)換成L個工作對象流；其中，所述L個調(diào)度進(jìn)程中的每個調(diào)度進(jìn)程對應(yīng)轉(zhuǎn)換所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述L為大于等于1的整數(shù)；所述服務(wù)器將轉(zhuǎn)換得到的L個工作對象流發(fā)送給所述終端。5.如權(quán)利要求4所述的方法，其特征在于，所述服務(wù)器將轉(zhuǎn)換得到的L個工作對象流發(fā)送給所述終端，包括：所述服務(wù)器對得到的L個工作對象流中的每個工作對象流進(jìn)行序列化；所述服務(wù)器對序列化后的每個工作對象流進(jìn)行壓縮和加密，將得到的壓縮和加密之后的每個工作對象流發(fā)送給所述終端。6.一種遠(yuǎn)程數(shù)據(jù)同步方法，其特征在于，包括：終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中的K條數(shù)據(jù)記錄；其中，所述K為大于等于1、且小于等于M的整數(shù)；所述M為大于等于2的整數(shù)；所述終端將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫；其中，所述K條數(shù)據(jù)記錄是所述服務(wù)器獲取日志文件中的M條數(shù)據(jù)記錄；根據(jù)所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中的預(yù)設(shè)字段對應(yīng)的信息，確定出所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄的主鍵；針對所述M條數(shù)據(jù)記錄對應(yīng)的所有主鍵中的每個主鍵，在確定存在N條數(shù)據(jù)記錄的主鍵為該主鍵的情況下，從所述M條數(shù)據(jù)記錄中刪除所述N條數(shù)據(jù)記錄中的N-1條數(shù)據(jù)記錄之后得到的；其中，所述M條數(shù)據(jù)記錄中每條數(shù)據(jù)記錄中包括預(yù)設(shè)字段對應(yīng)的信息；所述N為大于等于2、且小于等于M的整數(shù)。7.如權(quán)利要求6所述的方法，其特征在于，所述終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄，包括：所述終端接收所述服務(wù)器發(fā)送的序列化、且進(jìn)行壓縮和加密后的所述L個工作對象流中的每個工作對象流；其中，所述L個工作對象流為所述K條數(shù)據(jù)記錄通過L個調(diào)度進(jìn)程轉(zhuǎn)換得到的；所述L個調(diào)度進(jìn)程中的每個調(diào)度進(jìn)程對應(yīng)轉(zhuǎn)換所述K條數(shù)據(jù)記錄中的至少一條數(shù)據(jù)記錄；其中，所述L為大于等于1的整數(shù)；所述終端接收服務(wù)器發(fā)送的所述M條數(shù)據(jù)記錄中剩余的K條數(shù)據(jù)記錄之后，將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫之前，還包括：所述終端將所述每個工作對象流進(jìn)行解密和解壓縮，并對所述解密和解壓縮后的每個工作對象流進(jìn)行反序列化，得到K條數(shù)據(jù)記錄。8.如權(quán)利要求7所述的方法，其特征在于，所述終端將所述K條數(shù)據(jù)記錄發(fā)送至數(shù)據(jù)庫，包括：所述終端通過N個線程將所述K條數(shù)據(jù)記錄中并行發(fā)送至所述數(shù)據(jù)庫；...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾玉成，施躍躍，劉震，裘愉鋒，洪華，董龍，梁克會，朱立宏，
申請(專利權(quán))人：中國銀聯(lián)股份有限公司，
類型：發(fā)明
國別省市：上海,31