數據備份方法及裝置制造方法及圖紙

本發明專利技術公開了一種數據備份方法及裝置，涉及數據備份技術領域。該方法包括：分析待備份數據塊的指紋；以所述指紋為關鍵字在緩存池中查找相同的指紋；若存在相同的指紋，則將所述指紋對應的索引信息中虛擬卷頁的引用計數加一；若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池中，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一；以及周期性查詢所述索引表，刪除引用計數低于預設閾值的虛擬卷頁對應的元數據信息。本發明專利技術實施例提供的方法及裝置，能夠在不影響系統性能的前提下實現重刪性能的提高。

【技術實現步驟摘要】

本專利技術涉及數據備份
，尤其涉及一種數據備份方法及裝置。
技術介紹
隨著備份數據的日益增多，重復數據刪除(DataDe-duplication)被越來越廣泛的應用，以降低數據存儲的成本。重復數據刪除也稱重刪，如字義所言就是不存儲重復的部分以減少空間耗用，找出相同的數據，相同數據的只存儲一份，以索引來記錄，還原時根據索引就能回溯計算出原來文件的組成型式。重刪過程通常是這樣的首先，將數據文件分割成一組數據塊，采用哈希(Hash)算法為每個數據塊計算指紋((Fingerprint，FP)，具有相同指紋的數據塊即可認為是相同的數據塊，存儲系統中僅需要保留一份)；在進行數據的備份存儲時，對每個待備份數據塊，以指紋為關鍵字在索引中進行哈希查找，匹配則表示該數據塊為重復數據塊，僅存儲該數據塊的索引信息，不匹配則表示該數據塊是一個新的唯一塊，對該數據塊進行存儲并創建相關元數據信息，元數據信息包括數據塊的指紋。現有的數據的備份存儲中，通常使用將重刪后的數據的元數據緩存到內存中，將重刪后的數據存儲到底層磁盤上的方式，完成待備份數據的備份。在進行每個數據塊的備份時，先到內存中查找元數據以完成重刪，這樣縮短了將元數據存儲到底層磁盤對元數據時進行元數據訪問的時間，一定程度上提高了訪問性能，從而提高了重刪性能。但是由于備份數據量一般很大，對應的元數據也很大，因此需要消耗掉大量的內存，影響系統性能。采用較大的內存固然可以在提高重刪性能的前提下提高系統性能，但是由于內存顆粒的價格較高，所以受到了一定的限制。
技術實現思路
有鑒于此，本專利技術提供了一種數據備份方法及裝置，能夠在不影響系統性能的前提下實現重刪性能的提高。為了實現上述目的，在第一方面，本專利技術實施例提供了 一種數據備份方法，包括分析待備份數據塊的指紋；以所述指紋為關鍵字在緩存池中查找相同的指紋；若存在相同的指紋，則將所述指紋對應的索引信息中虛擬卷頁的引用計數加一；若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池中，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一；以及周期性查詢所述索引表，刪除所述緩存池中引用計數低于預設閾值的虛擬卷頁對應的元數據信息，所述預設閾值是自然數。其中，所述緩存池中存儲有已存儲的各數據塊的元數據信息；所述索引表包括已存儲的各數據塊對應的虛擬卷頁的索引信息，所述索引信息包括數據塊對應的虛擬卷頁的地址、以及數據塊的元數據信息在所述緩存池中的存儲地址，所述元數據信息包括所述數據塊的指紋；所述引用計數用于記錄所述虛擬卷頁所對應的數據塊被引用的次數。結合第一方面，在第二種可能的實現方式中，所述若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一的步驟具體包括為所述待備份數據塊分配虛擬卷頁以及緩存池中的存儲空間；在所述索引表中創建所述待備份數據塊的索引信息，并將所分配的虛擬卷頁的引用計數記為一；以及將所述待備份數據塊存儲到所述虛擬卷頁對應的磁盤空間中，將其元數據信息存儲到所分配的緩存池中的存儲空間中。結合第一方面的或第一方面的第一種可能的實現方式，在第二種可能的實現方式中，所述索弓I信息中還包括訪問時間，用于記錄最近一次更新所述索弓I信息的時間。結合第一方面的第二種可能的實施方式，在第三種可能的實現方式中，所述方法還包括周期性查詢所述索引表，獲得訪問時間最近的第一預設數量的索引信息；在所述第一預設數量的索引信息中，按照虛擬卷頁的引用計數從小到大的順序，刪除所述緩存池中引用計數最小的第二預設數量的虛擬卷頁對應的元數據信息。結合第一方面或第一方面的上述實現方式中的任一種，在第四種可能的實現方式中，所述緩存池設置在固態硬盤SSD中。在第二方面，本專利技術實施例提供了一種數據備份裝置，包括分析單元，用于分析待備份數據塊的指紋；匹配單元，用于以所述分析單元所分析出的指紋為關鍵字在緩存池中查找匹配的指紋；備份單元，用于根據所述匹配單元的查找結果進行待備份數據塊的備份若存在相同的指紋，則將所述指紋對應的索引信息中虛擬卷頁的引用計數加一；若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池中，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一；以及淘汰單元，用于周期性查詢所述索引表，刪除所述緩存池中引用計數低于預設閾值的虛擬卷頁對應的元數據信息，所述預設閾值是自然數；其中，所述緩存池中存儲有已存儲的各數據塊的元數據信息；所述索引表包括已存儲的各數據塊對應的虛擬卷頁的索引信息，所述索引信息包括數據塊對應的虛擬卷頁的地址、以及數據塊的元數據信息在所述緩存池中的存儲地址，所述元數據信息包括所述數據塊的指紋；所述引用計數用于記錄所述虛擬卷頁所對應的數據塊被引用的次數。結合第二方面，在第一種可能的實現方式中，所述索引信息中還包括訪問時間，用于記錄最近一次更新所述索引信息的時間；所述淘汰單元還用于周期性查詢所述索引表，獲得訪問時間最近的第一預設數量的索引信息，并在所述第一預設數量的索引信息中，按照虛擬卷頁的引用計數從小到大的順序，刪除所述緩存池中引用計數最小的第二預設數量的虛擬卷頁對應的元數據信息。結合第二方面或第二方面的第一種可能的實現方式，在第二種可能的實現方式中，所述緩存池設置在固態硬盤SSD中。本專利技術實施例提供的方法及裝置，采用了定期淘汰的機制，對緩存池中訪問頻率較低的元數據進行淘汰，即從緩存池中刪除相關的信息，以保證容量有限的緩存池夠用，能夠在不影響系統性能的前提下實現重刪性能的提高，進而提高了數據備份效率。根據下面參考附圖對示例性實施例的詳細說明，本專利技術的其它特征及方面將變得清楚。附圖說明包含在說明書中并且構成說明書的一部分的說明書附圖與說明書一起示出了本專利技術的示例性實施例、特征和方面，并且用于解釋本專利技術的原理。圖1為本專利技術實施例的數據備份方法的流程圖；圖2為本專利技術實施例的數據備份方法中的索引表示意圖；圖3為本專利技術實施例的數據備份方法的部分流程圖；圖4為本專利技術實施例的一種數據備份裝置的結構框圖；圖5為本專利技術實施例的另一種數據備份裝置的結構框圖。具體實施例方式以下將參考附圖詳細說明本專利技術的各種示例性實施例、特征和方面。附圖中相同的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。在這里專用的詞“示例性”意為“用作例子、實施例或說明性”。這里作為“示例性”所說明的任何實施例不必解釋為優于或好于其它實施例。另外，為了更好的說明本專利技術，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有這些具體細節，本專利技術同樣可以實施。在另外一些實例中，對于大家熟知的方法、手段、元件和電路未作詳細描述，以便于凸顯本專利技術的主旨。現代存儲技術中，磁盤根據自身的管理方式，將實際存儲空間劃分為固定大小的磁盤塊進行管理，然后將各個磁盤塊按一定本文檔來自技高網...

【技術保護點】
一種數據備份方法，其特征在于，包括：分析待備份數據塊的指紋；以所述指紋為關鍵字在緩存池中查找相同的指紋；若存在相同的指紋，則將所述指紋對應的索引信息中虛擬卷頁的引用計數加一；若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池中，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一；以及周期性查詢所述索引表，刪除所述緩存池中引用計數低于預設閾值的虛擬卷頁對應的元數據信息，所述預設閾值是自然數；其中，所述緩存池中存儲有已存儲的各數據塊的元數據信息；所述索引表包括已存儲的各數據塊對應的虛擬卷頁的索引信息，所述索引信息包括數據塊對應的虛擬卷頁的地址、以及數據塊的元數據信息在所述緩存池中的存儲地址，所述元數據信息包括所述數據塊的指紋；所述引用計數用于記錄所述虛擬卷頁所對應的數據塊被引用的次數。

【技術特征摘要】
1.一種數據備份方法，其特征在于，包括 分析待備份數據塊的指紋； 以所述指紋為關鍵字在緩存池中查找相同的指紋； 若存在相同的指紋，則將所述指紋對應的索引信息中虛擬卷頁的引用計數加一；若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池中，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一；以及 周期性查詢所述索引表，刪除所述緩存池中引用計數低于預設閾值的虛擬卷頁對應的元數據信息，所述預設閾值是自然數； 其中，所述緩存池中存儲有已存儲的各數據塊的元數據信息；所述索引表包括已存儲的各數據塊對應的虛擬卷頁的索引信息，所述索引信息包括數據塊對應的虛擬卷頁的地址、以及數據塊的元數據信息在所述緩存池中的存儲地址，所述元數據信息包括所述數據塊的指紋；所述引用計數用于記錄所述虛擬卷頁所對應的數據塊被引用的次數。2.根據權利要求1所述的方法，其特征在于，所述若不存在相同的指紋，則將所述待備份數據塊存儲到虛擬卷上，將所述待備份數據塊的元數據信息存儲在所述緩存池，并在索引表中為所述待備份數據塊創建索引信息，將所創建的索引信息中所述待備份數據塊對應的虛擬卷頁的引用計數設為一的步驟具體包括 為所述待備份數據塊分配虛擬卷頁以及緩存池中的存儲空間； 在所述索引表中創建所述待備份數據塊的索引信息，并將所分配的虛擬卷頁的引用計數記為一；以及 將所述待備份數據塊存儲到所述虛擬卷頁對應的磁盤空間中，將其元數據信息存儲到所分配的緩存池中的存儲空間中。3.根據權利要求1或2所述的方法，其特征在于，所述索引信息中還包括訪問時間，用于記錄最近一次更新所述索引信息的時間。4.根據權利要求3所述的方法，其特征在于，所述方法還包括 周期性查詢所述索引表，獲得訪問時間最近的第一預設數量的索引信息...

【專利技術屬性】
技術研發人員：夏勇，張宗全，
申請(專利權)人：華為技術有限公司，
類型：發明
國別省市：