本發明專利技術提供了一種編解碼處理方法及裝置，該方法包括：對待編解碼數據進行多維格式化處理，其中，多維至少為二維；按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行里德-所羅門RS糾刪碼編解碼處理，通過本發明專利技術，解決了現有技術相關技術中存在當允許抗更多的數據損壞時，需要增加計算量，以及影響編解碼速率以及性能的問題，進而達到了在不降低原有編碼率和存儲空間利用率的前提下，大幅度地增加系統的容錯能力，同時提高編碼速度和解碼速度的效果。
【技術實現步驟摘要】
本專利技術涉及通信領域，具體而言，涉及一種編解碼處理方法及裝置。
技術介紹
云存儲是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。在云計算環境中，文件一般被分片保存在多個云存儲服務器中。在數據通訊時，需要通訊的數據也會被分為多個分片，逐片傳送給對方。在數據存儲時和通訊時，為了解決可靠性的問題，一般采用里德-所羅門(Reed-Solomon,簡稱為RS)糾刪碼(Erasure Codes,簡稱為EC)技術，將文件編碼后，分為大小相同的m個分片和η個校驗分片，分別進行存儲或通訊。對于文件存儲或者通訊接收方，只要獲得其中任意m個分片，即可通過解碼恢復原文件或者數據，因此可以抗η個分片 損壞或者丟失，大大提高了系統的可靠性。對于計算機文件存儲，糾刪碼系統的存儲空間利用率為m/(m+n)，遠遠高于副本存儲方式，因此RS糾刪碼通過計算能力換取存儲能力，顯著降低了存儲成本和運維成本。1960年，里德(I. S. Reed)和所羅門(G. Solomon)提出一種構造糾刪碼的方法，使用該方法的糾刪碼被稱作Reed-Solomon碼，簡稱RS碼。基于RS編碼技術構造的糾刪碼則稱作RS糾刪碼。一個(n，k)糾刪碼是把k個源數據編碼為n (n>k)個數據，使得用這η個數據中任意k個數據均可重構原來的k個源數據。采用m個分片和η個校驗分片的糾刪碼體制就是(m+n,m)糾刪碼。里德-所羅門碼主要包含基于范德蒙矩陣生成的編碼，叫范德蒙碼(VandermondCode)，和基于柯西矩陣生成的編碼，叫柯西碼(Cauchy Code)。它們的運算基于有限域——伽羅華(Galois)域進行。它們在實現時可以任意設置m和η值，從而獲得較高的存儲利用率。但無論范德蒙矩陣和柯西矩陣的RS糾刪碼體制，都有一個共同的缺點，就是計算量較大，編碼、解碼速度較慢。根據已有的公開數學知識，上述兩種RS糾刪碼在編解碼時，計算量和時間復雜度均為0(πΓ2)，并且求解生成矩陣的逆矩陣時，采用高斯-若當消元法為最佳算法，計算量和時間復雜度為O (πΓ3)，如果解碼時使用了 k個冗余塊，則解碼算法運算量為0(mk)。對于長度為L的文件，解碼算法運算量為O(Lk)。解碼速度和使用的冗余塊k成正比，因此，在實際使用中，使用的冗余塊值不能太大。目前商用系統中分片數量m—般不超過10，校驗片η —般不超過6。為了在計算機通訊領域更好地運用RS糾刪碼體制，一般采用專用硬件實現編解碼功能，提高編解碼速度。另一方面，在使用民用廉價硬盤的云存儲系統，和P2P動態存儲-通訊環境中，希望能在不影響編碼率和解碼性能的情況下，抗更多的數據損壞，即要求校驗分片η足夠大，且使用的RS糾刪碼編解碼算法性能不下降。在這種模式下，單純靠提高η值是行不通的，會造成計算量的快速增長，導致性能下降到不實用的地步。因此，在相關技術中存在當允許抗更多的數據損壞時，需要增加計算量，以及影響編解碼速率以及性能的問題。
技術實現思路
本專利技術提供了一種編解碼處理方法及裝置，以至少解決現有技術相關技術中存在當允許抗更多的數據損壞時，需要增加計算量，以及影響編解碼速率以及性能的問題。根據本專利技術的一個方面，提供了一種編解碼處理方法，包括對待編解碼數據進行多維格式化處理，其中，所述多維至少為二維；按照預定的順序，對多維格式化處理之后的 待編解碼數據的每一維度中的至少二維進行里德-所羅門RS糾刪碼編解碼處理。優選地，對待編解碼數據進行多維格式化處理包括確定對所述待編碼數據進行格式化處理的數據分塊大小；在執行編碼處理的情況下，根據確定的所述數據分塊大小對所述待編碼數據進行補割處理；在執行解碼處理的情況下，將待解碼數據存入確定的所述數據分塊大小的數據塊的相應位置進行解碼處理。優選地，按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理包括在執行編碼處理的情況下，按照所述多維逐級去維度的方式，對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼編碼處理；在執行解碼處理的情況下，按照所述多維逐級加維度的方式，對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼解碼處理。優選地，在按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理之后，還包括根據存儲服務器的物理資源，對進行所述RS糾刪碼處理之后獲得的數據進行存儲；或者，發送進行所述RS糾刪碼處理之后獲得的數據。優選地，根據存儲服務器的物理資源，對進行所述RS糾刪碼處理之后獲得的數據進行存儲包括將進行所述RS糾刪碼處理之后獲得的所述數據中的部分校驗數據存儲在單獨的存儲節點上。優選地，在所述多維為三維的情況下，按照預定的順序，通過以下方式至少之一對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理位于存儲服務器的同一個文件訪問客戶端FAC對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼編解碼處理；所述FAC完成第一維度所對應的第一級編解碼后，存儲域中的計算節點對第一級編解碼后的數據完成第二維度所對應第二級和第三維度所對應第三級的編解碼；所述FAC完成第一維度所對應的第一級編解碼后，存儲域中的計算節點對第一級編解碼后的數據完成第二維度所對應第二級編解碼，以及存儲節點對第二級編解碼后的數據完成第三維度所對應的第三級編解碼。根據本專利技術的另一方面，提供了一種編解碼處理裝置，包括第一處理模塊，用于對待編解碼數據進行多維格式化處理，其中，所述多維至少為二維；第二處理模塊，用于按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行里德-所羅門RS糾刪碼編解碼處理。優選地，所述第一處理模塊包括第一確定單元，用于確定對所述待編碼數據進行格式化處理的數據分塊大小；第一處理單元，用于在執行編碼處理的情況下，根據確定的所述數據分塊大小對所述待編碼數據進行補割處理；在執行解碼處理的情況下，將待解碼數據存入確定的所述數據分塊大小的數據塊的相應位置進行解碼處理。優選地，所述第二處理模塊包括第二處理單元，用于在執行編碼處理的情況下，按照所述多維逐級去維度的方式，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編碼處理；第三處理單元，用于在執行解碼處理的情況下，按照所述多維逐級加維度的方式，對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼解碼處理；優選地，所述第二處理模塊包括以下至少之一按照預定的順序，通過以下方式至少之一對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理第四處理單元，用于在所述多維為三維的情況下，通過位于存儲服務器的同一個文件訪問客戶端FAC對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼編解碼處理；第五處理單元，用于在所述多維為三維的情況下，通過所述FAC完成第一維度所對應的第一級編解碼后，存儲域中的計算節點對第一級編解碼后的數據完成第二維度所對應第二級和第三維度所對應第三級的編解碼；第六處理單元，用于在所述本文檔來自技高網...
【技術保護點】
一種編解碼處理方法，其特征在于，包括：對待編解碼數據進行多維格式化處理，其中，所述多維至少為二維；按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行里德？所羅門RS糾刪碼編解碼處理。
【技術特征摘要】
1.一種編解碼處理方法，其特征在于，包括 對待編解碼數據進行多維格式化處理，其中，所述多維至少為二維； 按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行里德-所羅門RS糾刪碼編解碼處理。2.根據權利要求I所述的方法，其特征在于，對待編解碼數據進行多維格式化處理包括 確定對所述待編碼數據進行格式化處理的數據分塊大小； 在執行編碼處理的情況下，根據確定的所述數據分塊大小對所述待編碼數據進行補割處理；在執行解碼處理的情況下，將待解碼數據存入確定的所述數據分塊大小的數據塊的相應位置進行解碼處理。3.根據權利要求I所述的方法，其特征在于，按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理包括 在執行編碼處理的情況下，按照所述多維逐級去維度的方式，對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼編碼處理； 在執行解碼處理的情況下，按照所述多維逐級加維度的方式，對多維格式化處理之后的待編解碼數據的每一維度進行所述RS糾刪碼解碼處理。4.根據權利要求I所述的方法，其特征在于，在按照預定的順序，對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理之后，還包括 根據存儲服務器的物理資源，對進行所述RS糾刪碼處理之后獲得的數據進行存儲；或者， 發送進行所述RS糾刪碼處理之后獲得的數據。5.根據權利要求4所述的方法，其特征在于，根據存儲服務器的物理資源，對進行所述RS糾刪碼處理之后獲得的數據進行存儲包括將進行所述RS糾刪碼處理之后獲得的所述數據中的部分校驗數據存儲在單獨的存儲節點上。6.根據權利要求I至5中任一項所述的方法，其特征在于，在所述多維為三維的情況下，按照預定的順序，通過以下方式至少之一對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理 位于存儲服務器的同一個文件訪問客戶端FAC對多維格式化處理之后的待編解碼數據的每一維度中的至少二維進行所述RS糾刪碼編解碼處理； 所述FAC完成第一維度所對應的第一級編解碼后，存儲域中的計算節點對第一級編解碼后的數據完成第二維度所對應第二級和第三維度所對應第三級的編解碼； 所述FAC完成第一維度所對應...
【專利技術屬性】
技術研發人員：孫崎，遲恩宇，
申請(專利權)人：中興通訊股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。