數(shù)據(jù)冗余實(shí)現(xiàn)方法及裝置制造方法及圖紙

本發(fā)明專利技術(shù)提供了一種數(shù)據(jù)冗余實(shí)現(xiàn)方法及裝置，其中，該方法包括：獲取待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；采用與存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)待存儲(chǔ)數(shù)據(jù)，其中，存儲(chǔ)策略標(biāo)識(shí)用于指示采用以下存儲(chǔ)方式的至少之一：副本冗余處理方式、糾刪編解碼處理方式。本發(fā)明專利技術(shù)解決了相關(guān)技術(shù)中無(wú)法提供更高的存儲(chǔ)空間利用率的問(wèn)題，從而在確保數(shù)據(jù)安全性、可靠性的同時(shí)，提高存儲(chǔ)空間的利用率，高了數(shù)據(jù)冗余的實(shí)現(xiàn)的靈活性。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及通信領(lǐng)域，具體而言，涉及一種數(shù)據(jù)冗余實(shí)現(xiàn)方法及裝置。
技術(shù)介紹
在分布式文件系統(tǒng)中，大規(guī)模地使用了外設(shè)存儲(chǔ)和本地存儲(chǔ)設(shè)備。如果在存儲(chǔ)系統(tǒng)中不采取額外的數(shù)據(jù)冗余方案，每增加一個(gè)節(jié)點(diǎn)都會(huì)導(dǎo)致整個(gè)系統(tǒng)安全性能的下降。隨著容量的擴(kuò)展，系統(tǒng)變得越來(lái)越不安全，以致于幾乎不可用。為了保證數(shù)據(jù)和系統(tǒng)的安全性，必須采用數(shù)據(jù)冗余方案對(duì)數(shù)據(jù)進(jìn)行保護(hù)，保證在一定數(shù)量的節(jié)點(diǎn)發(fā)生故障丟失數(shù)據(jù)之后，通過(guò)冗余數(shù)據(jù)來(lái)恢復(fù)故障節(jié)點(diǎn)，確保數(shù)據(jù)安全。在信息時(shí)代的今天，大量數(shù)據(jù)的存儲(chǔ)使得存儲(chǔ)空間成為必要的資源。目前的分布式文件系統(tǒng)大多采用的是完全副本方式的冗余，該方式只需要有一個(gè)副本安全就可以提供服務(wù)，但其有一個(gè)不足就是存儲(chǔ)空間利用率較低。現(xiàn)有的數(shù)據(jù)冗余技術(shù)無(wú)法提供更高的存儲(chǔ)空間利用率。因此，需要一種新的分布式文件系統(tǒng)數(shù)據(jù)冗余策略，能夠根據(jù)存儲(chǔ)環(huán)境的需求和實(shí)際條件，保證數(shù)據(jù)的可靠性和提高存儲(chǔ)空間的利用率。針對(duì)相關(guān)技術(shù)中上述至少之一的問(wèn)題，目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供了一種數(shù)據(jù)冗余實(shí)現(xiàn)方法及裝置，以至少解決相關(guān)技術(shù)中無(wú)法提供更高的存儲(chǔ)空間利用率的問(wèn)題。根據(jù)本專利技術(shù)的一個(gè)方面，提供了一種數(shù)據(jù)冗余實(shí)現(xiàn)方法，其包括獲取待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；采用與上述存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)，其中，上述存儲(chǔ)策略標(biāo)識(shí)用于指示采用以下存儲(chǔ)方式的至少之一副本冗余處理方式、糾刪編解碼處理方式。優(yōu)選地，采用糾刪編解碼處理的存儲(chǔ)方式存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)包括從元數(shù)據(jù)服務(wù)器獲取對(duì)上述待存儲(chǔ)數(shù)據(jù)進(jìn)行糾刪碼EC編碼的編碼比例信息，其中，上述編碼比例信息包括將上述待存儲(chǔ)數(shù)據(jù)的每一頁(yè)數(shù)據(jù)劃分的數(shù)據(jù)塊的數(shù)量N、每一頁(yè)數(shù)據(jù)塊編碼后的冗余數(shù)據(jù)塊的數(shù)量M，上述N和上述M為自然數(shù)；根據(jù)上述編碼比例信息和上述待存儲(chǔ)數(shù)據(jù)的大小將上述待存儲(chǔ)數(shù)據(jù)的每一頁(yè)數(shù)據(jù)劃分成上述N個(gè)數(shù)據(jù)塊，并以上述N個(gè)數(shù)據(jù)塊為一組進(jìn)行EC編碼，并每一組生成上述M個(gè)冗余數(shù)據(jù)塊；在對(duì)一頁(yè)中所有的數(shù)據(jù)塊編碼完成的情況下，將上述一頁(yè)的編碼后的數(shù)據(jù)塊存儲(chǔ)到數(shù)據(jù)庫(kù)中。優(yōu)選地，將上述一頁(yè)的編碼后的數(shù)據(jù)塊存儲(chǔ)到數(shù)據(jù)庫(kù)中包括向上述數(shù)據(jù)庫(kù)發(fā)送申請(qǐng)上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)的請(qǐng)求消息；接收上述請(qǐng)求消息的回復(fù)消息，其中，上述回復(fù)消息包括上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)的節(jié)點(diǎn)信息、上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置信息；根據(jù)上述節(jié)點(diǎn)信息和上述位置信息將上述每一頁(yè)數(shù)據(jù)塊編碼后的上述N加上述M個(gè)數(shù)據(jù)塊分別存儲(chǔ)到申請(qǐng)到的上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)中。優(yōu)選地，根據(jù)上述節(jié)點(diǎn)信息和上述位置信息將上述每一頁(yè)數(shù)據(jù)塊編碼后的上述N加上述M個(gè)數(shù)據(jù)塊分別存儲(chǔ)到申請(qǐng)到的上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)中包括檢測(cè)到每一頁(yè)編碼后的數(shù)據(jù)塊中有大于上述M個(gè)數(shù)據(jù)塊存儲(chǔ)失敗的情況下，發(fā)送存儲(chǔ)失敗的告警或通知。優(yōu)選地，根據(jù)上述節(jié)點(diǎn)信息和上述位置信息將上述每一頁(yè)數(shù)據(jù)塊編碼后的上述N加上述M個(gè)數(shù)據(jù)塊分別存儲(chǔ)到申請(qǐng)到的上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)中包括檢測(cè)到每一頁(yè)編碼后的數(shù)據(jù)塊中有小于等于上述M個(gè)數(shù)據(jù)塊存儲(chǔ)失敗的情況下，將存儲(chǔ)失敗的數(shù)據(jù)塊重新存儲(chǔ)到上述存儲(chǔ)失敗數(shù)據(jù)塊對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)中，或者將存儲(chǔ)失敗的數(shù)據(jù)塊重新存儲(chǔ)到新申請(qǐng)的存儲(chǔ)節(jié)點(diǎn)中。優(yōu)選地，在采用與上述存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)之后，上述數(shù)據(jù)冗余實(shí)現(xiàn)方法還包括獲取待讀取數(shù)據(jù)的讀取信息，其中，上述讀取信息包括上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；根據(jù)上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)采用相應(yīng)的讀取方式讀取上述待讀取數(shù)據(jù)，其中，上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)用于指示上述待讀取數(shù)據(jù)的存儲(chǔ)方式采用以下至少之一副本冗余處理方式、糾刪編解碼處理方式。優(yōu)選地，根據(jù)上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)采用相應(yīng)的讀取方式讀取上述待讀··取數(shù)據(jù)包括在上述待讀取數(shù)據(jù)的存儲(chǔ)方式采用糾刪編解碼處理方式的情況下，獲取存儲(chǔ)上述待讀上述待讀取數(shù)據(jù)的每一頁(yè)編碼后的N加M個(gè)數(shù)據(jù)塊對(duì)應(yīng)的存儲(chǔ)信息，其中，上述存儲(chǔ)信息包括上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)節(jié)點(diǎn)信息、上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)的位置信息，上述N和上述M為自然數(shù)；根據(jù)上述存儲(chǔ)信息從上述N加上述M個(gè)存儲(chǔ)節(jié)點(diǎn)中讀取上述每一頁(yè)編碼后的上述N加上述M個(gè)數(shù)據(jù)塊；從讀取的上述N加上述M個(gè)數(shù)據(jù)塊中按照順序選擇上述N個(gè)數(shù)據(jù)塊進(jìn)行EC解碼，恢復(fù)得到上述每一頁(yè)的數(shù)據(jù)。根據(jù)本專利技術(shù)的另一方面，提供了一種數(shù)據(jù)冗余實(shí)現(xiàn)裝置，其包括第一獲取模塊，用于獲取待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；存儲(chǔ)模塊，用于采用與上述存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)，其中，上述待存儲(chǔ)策略標(biāo)識(shí)用于指示采用以下存儲(chǔ)方式的至少之一副本冗余處理方式、糾刪編解碼處理方式。優(yōu)選地，上述存儲(chǔ)模塊包括獲取單元，用于從元數(shù)據(jù)服務(wù)器獲取對(duì)上述待存儲(chǔ)數(shù)據(jù)進(jìn)行EC編碼的編碼比例信息，其中，上述編碼比例信息包括將上述待存儲(chǔ)數(shù)據(jù)的每一頁(yè)數(shù)據(jù)劃分的數(shù)據(jù)塊的數(shù)量N、每一頁(yè)數(shù)據(jù)塊編碼后的冗余數(shù)據(jù)塊的數(shù)量M，上述N和上述M為自然數(shù)；編碼單元，用于根據(jù)上述編碼比例信息和上述待存儲(chǔ)數(shù)據(jù)的大小將上述待存儲(chǔ)數(shù)據(jù)的每一頁(yè)數(shù)據(jù)劃分成上述N個(gè)數(shù)據(jù)塊，并以上述N個(gè)數(shù)據(jù)塊為一組進(jìn)行EC編碼，并每一組生成上述M個(gè)冗余數(shù)據(jù)塊；存儲(chǔ)單元，用于在對(duì)一頁(yè)中所有的數(shù)據(jù)塊編碼完成的情況下，將上述一頁(yè)的編碼后的數(shù)據(jù)塊存儲(chǔ)到數(shù)據(jù)庫(kù)中。優(yōu)選地，上述數(shù)據(jù)冗余實(shí)現(xiàn)裝置還包括第二獲取模塊，用于獲取待讀取數(shù)據(jù)的讀取信息，其中，上述讀取信息包括上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；讀取模塊，用于根據(jù)上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)采用相應(yīng)的讀取方式讀取上述待讀取數(shù)據(jù)，其中，上述待讀取數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)用于指示上述待讀取數(shù)據(jù)的存儲(chǔ)方式采用以下至少之一副本冗余處理方式、糾刪編解碼處理方式。在本專利技術(shù)中，首先獲取上述待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)，該存儲(chǔ)策略標(biāo)識(shí)用于指示采用以下存儲(chǔ)方式的至少之一副本冗余處理方式、糾刪編解碼處理方式，然后，采用與所述存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)所述待存儲(chǔ)數(shù)據(jù)，即可以根據(jù)不同需要或?qū)嶋H條件對(duì)待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)方式進(jìn)行設(shè)置，例如，當(dāng)存儲(chǔ)空間充裕時(shí)，可以采用副本冗余處理方式來(lái)存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)，當(dāng)需要提高存儲(chǔ)空間利用率時(shí)，可以采用糾刪編解碼處理方式來(lái)存儲(chǔ)上述待存儲(chǔ)數(shù)據(jù)，以在確保數(shù)據(jù)安全性、可靠性的同時(shí)，降低數(shù)據(jù)冗余度，提高存儲(chǔ)空間的利用率，因此，實(shí)現(xiàn)可以根據(jù)不同需要或?qū)嶋H條件對(duì)待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)方式進(jìn)行設(shè)置，從而提高了數(shù)據(jù)冗余的實(shí)現(xiàn)的靈活性。附圖說(shuō)明此處所說(shuō)明的附圖用來(lái)提供對(duì)本專利技術(shù)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本專利技術(shù)的示意性實(shí)施例及其說(shuō)明用于解釋本專利技術(shù)，并不構(gòu)成對(duì)本專利技術(shù)的不當(dāng)限定。在附圖中圖I是根據(jù)本專利技術(shù)實(shí)施例的數(shù)據(jù)冗余實(shí)現(xiàn)方法的流程圖；圖2是根據(jù)本專利技術(shù)實(shí)施例的數(shù)據(jù)冗余實(shí)現(xiàn)裝置的結(jié)構(gòu)框圖； 圖3是根據(jù)本專利技術(shù)實(shí)施例的存儲(chǔ)模塊的結(jié)構(gòu)框圖；圖4是根據(jù)本專利技術(shù)實(shí)施例的另一種數(shù)據(jù)冗余實(shí)現(xiàn)裝置的結(jié)構(gòu)框圖；圖5是根據(jù)本專利技術(shù)實(shí)施例的數(shù)據(jù)冗余實(shí)現(xiàn)系統(tǒng)的架構(gòu)示意圖；圖6是根據(jù)本專利技術(shù)實(shí)施例的采用糾刪編解碼處理方式時(shí)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼的流程圖；圖7是根據(jù)本專利技術(shù)實(shí)施例的采用糾刪編解碼處理方式時(shí)對(duì)數(shù)據(jù)進(jìn)行糾刪解碼的流程圖；圖8是根據(jù)本專利技術(shù)實(shí)施例的采用糾刪編解碼處理方式寫入文件的流程圖；以及圖9是根據(jù)本專利技術(shù)實(shí)施例的采用糾刪編解碼處理方式讀取文件的流程圖。具體實(shí)施例方式下文中將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本專利技術(shù)。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種數(shù)據(jù)冗余實(shí)現(xiàn)方法，其特征在于，包括：獲取待存儲(chǔ)數(shù)據(jù)的存儲(chǔ)策略標(biāo)識(shí)；采用與所述存儲(chǔ)策略標(biāo)識(shí)相應(yīng)的存儲(chǔ)方式存儲(chǔ)所述待存儲(chǔ)數(shù)據(jù)，其中，所述存儲(chǔ)策略標(biāo)識(shí)用于指示采用以下存儲(chǔ)方式的至少之一：副本冗余處理方式、糾刪編解碼處理方式。

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：尹丹，趙誠(chéng)，
申請(qǐng)(專利權(quán))人：南京中興新軟件有限責(zé)任公司，
類型：發(fā)明
國(guó)別省市：