一種基于云存儲系統的數據存儲方法和裝置制造方法及圖紙

本申請公開了一種基于云存儲系統的數據存儲方法和裝置，該方法包括：利用增強型哈希函數分別計算存儲節點地址與數據對象地址；通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中。上述基于云存儲系統的數據存儲方法和裝置，能夠解決超大規模存儲的擴展問題，且能夠保證物理節點地址空間在系統中均勻分布，提升系統負載均衡，實現數據組織的高效定位。

Data storage method and device based on cloud storage system

The invention discloses a data storage method and device based on cloud storage system, the method comprises: a storage node calculates the address and data object address enhanced by using hash function; Hash addressing space ring, the storage node address and the address of the corresponding data objects; when receiving data when calculating the storage node address using enhanced hash function, then the data is stored into the storage node corresponding to the storage node address in. The data storage method and device for cloud storage system based on extended to solve large scale storage, and can guarantee the physical node address space distribution in the system, improve the system load balancing, achieving high positioning data organization.

【技術實現步驟摘要】
一種基于云存儲系統的數據存儲方法和裝置
本專利技術屬于云存儲
，特別是涉及一種基于云存儲系統的數據存儲方法和裝置。
技術介紹
在現代存儲系統中，由于數據信息總量不斷增加，存儲容量從PB到EB,數據的處理器也是越來越快，各種鏈路速度也是越來越快，但是數據分布機制變成了短板，動態擴大存儲規模并不能及時跟上處理速度，這就容易造成系統的宕機，系統假死未響應等相關狀態。而很多應用數據都是需要數據庫的支持，數據處理的性能深受影響。傳統數據分布策略都是基于高吞吐率網絡技術，穩定且成本較低，但是速度跟不上，在進行海量數據特別是查找定位目標時，缺陷就表現出來了。現在有一些數據分布策略，并且提出了很多算法構造，比如副本策略、糾刪碼策略等。而分布式存儲系統以對象存儲技術為基礎，將對象集合用具有唯一標示的OID(ObjectID)的對象標識符表示，使文件系統變成了一種提升系統性能的有效辦法。文件系統采用存儲的對象的方式來訪問數據，較塊存儲的無關聯塊陣列的數據組織方式的讀寫速率高很多，性能更好。然而，在進行在線擴展存儲節點的時候，數據在各個節點的分布仍然存在不均衡和可擴展性差的情況，并且無法高對目標數據進行效的查找定位，所以存儲系統的性能也就受到限制。
技術實現思路
為解決上述問題，本專利技術提供了一種基于云存儲系統的數據存儲方法和裝置，能夠解決超大規模存儲的擴展問題，且能夠保證物理節點地址空間在系統中均勻分布，提升系統負載均衡，實現數據組織的高效定位。本專利技術提供的一種基于云存儲系統的數據存儲方法，包括：利用增強型哈希函數分別計算存儲節點地址與數據對象地址；通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中。優選的，在上述基于云存儲系統的數據存儲方法中，所述通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應之后，還包括：將每個所述存儲節點地址對應的虛擬節點地址設置為一個虛擬IP地址組，當發生故障時，通過虛擬IP地址進行連接；將云存儲系統的存儲空間均分為預設份數，將每份存儲空間按順時針方向分配給每個存儲節點；將利用增強型哈希函數計算出的數據對象地址均勻分布在所述云存儲系統的存儲空間中。優選的，在上述基于云存儲系統的數據存儲方法中，所述將利用增強型哈希函數計算出的數據對象地址均勻分布在所述云存儲系統的存儲空間中之后，還包括：通過域名訪問系統進行數據讀取，從IP地址池中獲取IP信息；采集存儲節點的連接信息，并存入內存中；將接收到的信息域名、策略、位置和IP地址池信息放入共享內容；根據客戶端的需求對目標數據進行查找和定位，并將查找到的數據返回客戶端。本專利技術提供的一種基于云存儲系統的數據存儲裝置，包括：計算單元，用于利用增強型哈希函數分別計算存儲節點地址與數據對象地址；對應單元，用于通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；存儲單元，用于當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中。優選的，在上述基于云存儲系統的數據存儲裝置中，還包括：設置單元，用于將每個所述存儲節點地址對應的虛擬節點地址設置為一個虛擬IP地址組，當發生故障時，通過虛擬IP地址進行連接；分配單元，用于將云存儲系統的存儲空間均分為預設份數，將每份存儲空間按順時針方向分配給每個存儲節點；分布單元，用于將利用增強型哈希函數計算出的數據對象地址均勻分布在所述云存儲系統的存儲空間中。優選的，在上述基于云存儲系統的數據存儲裝置中，還包括：獲取單元，用于通過域名訪問系統進行數據讀取，從IP地址池中獲取IP信息；采集單元，用于采集存儲節點的連接信息，并存入內存中；放入單元，用于將接收到的信息域名、策略、位置和IP地址池信息放入共享內容；查找和定位單元，用于根據客戶端的需求對目標數據進行查找和定位，并將查找到的數據返回客戶端。通過上述描述可知，本專利技術提供的上述基于云存儲系統的數據存儲方法和裝置，由于該方法包括利用增強型哈希函數分別計算存儲節點地址與數據對象地址；通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中，因此能夠解決超大規模存儲的擴展問題，且能夠保證物理節點地址空間在系統中均勻分布，提升系統負載均衡，實現數據組織的高效定位。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。圖1為本申請實施例提供的第一種基于云存儲系統的數據存儲方法的示意圖；圖2為數據分配策略算法的示意圖；圖3為節點與虛擬IP地址的對應示意圖；圖4為本申請實施例提供的第一種基于云存儲系統的數據存儲裝置的示意圖。具體實施方式本專利技術的核心思想在于提供一種基于云存儲系統的數據存儲方法和裝置，能夠解決超大規模存儲的擴展問題，且能夠保證物理節點地址空間在系統中均勻分布，提升系統負載均衡，實現數據組織的高效定位。下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。本申請實施例提供的第一種基于云存儲系統的數據存儲方法如圖1所示，圖1為本申請實施例提供的第一種基于云存儲系統的數據存儲方法的示意圖，該方法包括如下步驟：S1：利用增強型哈希函數分別計算存儲節點地址與數據對象地址；需要說明的是，一致性哈希算法具有可伸縮和一次尋出的特點，由于該算法的地址空間接近無限，所以通過分區大小的調整，理論上可實現存儲單元的無限制擴展，為PB級的海量存儲提供了基礎。通過一致性哈希算法，能夠將數據均衡分布在所有存儲節點空間中，同時在不同存儲節點之間，能夠進行全對等的點對點數據訪問，沒有中心節點的干擾，減少了索引查詢和延時開銷。但是隨著系統容量的不斷增加，在進行存儲節點擴容、縮容、故障更換的同時會對底層存儲池的影響增大，在這種情況下數據負載的均衡與尋址的高效性會受到極大的限制，網絡方面的壓力是系統的性能下降。所以，為了滿足技術需求，提高數據在存儲節點中的合理分配的程度與尋址過程的簡化，云存儲系統需要更加高效的數據分布策略來確保系統的性能，利用增強型哈希算法，能夠保證云存儲系統的高擴展性與靈活性。增強型哈希算法能夠實現大規模存儲數據分布機制，基于增強型哈希算法的大規模存儲數據分布機制，實現了存儲對象、數據布局組、存儲節點的兩級映射，攻克了云存儲系統的超大規模擴展、EB級數據組織和高效定位問題。S2：通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；需要說明的是，云存儲系統的統一存儲池以對象為基本存儲單元進行存儲，基于數據訪問的局部性，根據存儲的成本、性能和訪問速率來本文檔來自技高網...

【技術保護點】
一種基于云存儲系統的數據存儲方法，其特征在于，包括：利用增強型哈希函數分別計算存儲節點地址與數據對象地址；通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中。

【技術特征摘要】
1.一種基于云存儲系統的數據存儲方法，其特征在于，包括：利用增強型哈希函數分別計算存儲節點地址與數據對象地址；通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應；當接收到數據時，利用增強型哈希函數計算存儲節點地址，然后將數據存儲到與所述存儲節點地址對應的存儲節點中。2.根據權利要求1所述的基于云存儲系統的數據存儲方法，其特征在于，所述通過圓環形的哈希尋址空間，將所述存儲節點地址與所述數據對象地址進行對應之后，還包括：將每個所述存儲節點地址對應的虛擬節點地址設置為一個虛擬IP地址組，當發生故障時，通過虛擬IP地址進行連接；將云存儲系統的存儲空間均分為預設份數，將每份存儲空間按順時針方向分配給每個存儲節點；將利用增強型哈希函數計算出的數據對象地址均勻分布在所述云存儲系統的存儲空間中。3.根據權利要求2所述的基于云存儲系統的數據存儲方法，其特征在于，所述將利用增強型哈希函數計算出的數據對象地址均勻分布在所述云存儲系統的存儲空間中之后，還包括：通過域名訪問系統進行數據讀取，從IP地址池中獲取IP信息；采集存儲節點的連接信息，并存入內存中；將接收到的信息域名、策略、位置和IP地址池信息放入共享內容；根據客戶端的需求對目標數據進行查找和定位，并將查找到的數據返...

【專利技術屬性】
技術研發人員：徐曉陽，趙萬里，
申請(專利權)人：鄭州云海信息技術有限公司，
類型：發明
國別省市：河南,41