一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統及其構建方法與應用技術方案

本發明專利技術涉及一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統及其構建方法與應用。本發明專利技術基于Openstack云平臺，結合CouchDB技術和Openstack的可擴展的存儲方案。以Openstack云平臺作為基礎設施，在該平臺上構建CouchDB數據庫集群。一方面，充分利用Openstack云平臺組件和虛擬化技術構建良好的數據存儲平臺，滿足可擴展性的需求；另一方面，利用CouchDB數據庫的存儲優勢，構建數據庫集群，通過復制機制同步數據，滿足一致性需求。

【技術實現步驟摘要】
一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統及其構建方法與應用
本專利技術涉及一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統及其構建方法與應用，屬于云環境下存儲優化的

技術介紹
云存儲是在云計算(cloudcomputing)概念上延伸和衍生發展出來的一個新的概念，也是云計算應用在存儲領域的產物。云存儲通過集群應用、網格技術或分布式系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協調工作，共同對外提供數據存儲和業務訪問功能，從而保證了數據的安全性，并節約存儲空間。云存儲系統的結果模型由4層組成：(1)存儲層：是云存儲最基礎的部分。存儲設備可以是FC光纖通道，可以是NAS和ISCSI等IP存儲設備，也可以是SAS等DAS存儲設備。云存儲中的存儲設備往往數量龐大且分布在不同地域，彼此通過廣域網、互聯網連接在一起。(2)基礎管理層：這是云存儲最核心的部分，也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。(3)應用接口層：這是云存儲中最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平臺、網絡硬盤應用平臺、遠程數據備份應用平臺等。(4)訪問層：任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統，享受云存儲服務。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。Openstack是一種開源的基礎設施及服務的云計算平臺。2010年7月以Apache2.0許可授權開源，源代碼來自于NASA的Nebula云平臺和Rackspace的分布式云存儲(Swift)項目。從最早的Essex版本，Openstack社區已經推出了14個版本，其對應的組件也不斷完善。目前，Openstack的最新的版本Newton由Nova、Glance、Cinder、Keystone、Horizon、Netron等六個核心模塊組成。一方面，這些模塊分別獨立地提供各自不同的基礎服務功能。另一個方面，各個組件之間又互相聯系，共同合作，旨在為所有類型的云提供簡單可實現、大規模可擴展的云主機管理方案。CouchDB(ClusterOfUnreliableCommodityHardware)，是一個開源的面向文檔的數據庫管理系統，可以通過RESETfulJavaScriptObjectNotation(JSON)API訪問。具有高度可伸縮性，提供了高可用性和高可靠性，即使運行在容易出現故障的硬件上也是如此。CouchDB是基于JSON和REST的面向文檔的分布式數據庫，其最大的意義在于它是一個面向web應用的新一代存儲系統。具有如下特點：(1)CouchDB是分布式的數據庫，它可以把存儲系統分布到n臺物理節點上，并且很好的協調和同步節點之間的數據讀寫一致性。對于基于web的大規模應用文檔應用，分布式可以讓它不必像傳統的關系數據庫那樣分庫拆表，在應用代碼層進行大量的改動。(2)CouchDB是面向文檔的數據庫，存儲半結構化的數據，比較類似lucene的index結構，特別適合存儲文檔，因此很適合CMS、電話本、地址等應用，在這些應用場合，文檔數據庫比關系數據庫要更加方便。(3)CouchDB支持RESTAPI，可以讓用戶通過javaScript來操作CouchDB數據庫，也可以使用javaScript編寫查詢語句，這樣開發的系統操作會很簡單和方便。CouchDB文檔數據以JSON格式的文檔存儲在數據庫中，每個文檔通過唯一ID和版本號標識。因此，CouchDB可以在同一數據庫中存儲任意格式的數據文檔，滿足不同格式的數據存儲需求。隨著互聯網的發展與數據量的增加，越來越多的企業和用戶利用云存儲解決數據存儲問題，網絡中的數據呈指數級增長，這些數據來自不同的領域，有著各種不同格式。對于這樣的格式多樣的海量數據而言，傳統的集中式存儲方案已經無法滿足現有的存儲需求。采用分布式存儲技術，通過添加節點的方式動態伸縮以保證可擴展性，已經成為必然的選擇。NoSQL做為云存儲的解決方法之一，沒有表結構和數據類型的約束，提供數據實時存儲、檢索和維護，滿足海量數據存儲的并發性、高可用性和可擴展性，成為重點考慮的對象。作為NoSQL的典型代表，CouchDB既可以擴展移植到移動設備上，同時也支持分布式節點的精確同步復制，確保了大量數據的存儲和查詢性能。然而，CouchDB結構簡單，不支持自主擴展，可伸縮性差，應用過程中可能由于資源不足導致節點失效。所以，尋找一種既能夠充分利用CouchDB數據庫的優越性，同時也可以克服其缺點的云存儲方案，十分必要。
技術實現思路
針對現有技術的不足，本專利技術提供一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統。本專利技術還提供一種上述存儲系統的構建方法。本專利技術還提供一種利用上述系統進行數據檢索的方法。專利技術概述：針對傳統的集中式存儲方案已經無法滿足現有的存儲需求，本專利技術提出了一種基于Openstack云平臺，結合CouchDB技術和Openstack的可擴展的存儲方案。其核心是以Openstack云平臺作為基礎設施，在該平臺上構建CouchDB數據庫集群。一方面，充分利用Openstack云平臺組件和虛擬化技術構建良好的數據存儲平臺，滿足可擴展性的需求；另一方面，利用CouchDB數據庫的存儲優勢，構建數據庫集群，通過復制機制同步數據，滿足一致性需求。本專利技術的技術方案為：一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統，包括基礎設施模塊、數據存儲模塊和數據檢索模塊；基礎設施模塊對計算資源、存儲資源和網絡資源進行管理并對用戶身份進行認證；數據存儲模塊實現數據彈性存儲和維護；數據彈性存儲通過構建CouchDB數據庫集群實現，所述CouchDB數據庫集群利用openstack云平臺提供的云主機構建，采用扁平化結構部署；每臺云主機構建一個CouchDB數據庫，提供數據存儲與檢索功能；所述openstack云平臺上的云主機通過CouchDB的復制機制實現對等。所述復制機制，是涉及到兩個數據庫之間的一種增量處理方法，旨在將源數據庫中所有活躍的文檔復制到目標數據庫中，從而實現各CouchDB實例之間互相同步。根據本專利技術優選的，CouchDB的復制機制對于實現分布式數據復制包括一次性復制和持久性復制；一次性復制發送POST請求到指定數據庫的_replicateURL；其中，請求題為JSON文檔，包含以下內容：POST/_replicateHTTP/1.1{“source”:“example-database”,“target”:“http://example.org/example-database”}；source與target分別表示復制的源數據庫和目的數據庫。其中，可以只使用數據庫名字表示一個本地數據庫，而使用一個完整的URL地址來表示一個遠程數據庫。根據本專利技術優選的，基礎設施模塊包括主控制節點和計算節點；主控制節點管理和監控整個Openstac本文檔來自技高網...

【技術保護點】
一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，包括基礎設施模塊、數據存儲模塊和數據檢索模塊；基礎設施模塊對計算資源、存儲資源和網絡資源進行管理并對用戶身份進行認證；數據存儲模塊實現數據彈性存儲和維護；數據彈性存儲通過構建CouchDB數據庫集群實現，所述CouchDB數據庫集群利用openstack云平臺提供的云主機構建，采用扁平化結構部署；每臺云主機構建一個CouchDB數據庫，提供數據存儲與檢索功能；所述openstack云平臺上的云主機通過CouchDB的復制機制實現對等。

【技術特征摘要】
1.一種基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，包括基礎設施模塊、數據存儲模塊和數據檢索模塊；基礎設施模塊對計算資源、存儲資源和網絡資源進行管理并對用戶身份進行認證；數據存儲模塊實現數據彈性存儲和維護；數據彈性存儲通過構建CouchDB數據庫集群實現，所述CouchDB數據庫集群利用openstack云平臺提供的云主機構建，采用扁平化結構部署；每臺云主機構建一個CouchDB數據庫，提供數據存儲與檢索功能；所述openstack云平臺上的云主機通過CouchDB的復制機制實現對等。2.根據權利要求1所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，CouchDB的復制機制對于實現分布式數據復制包括一次性復制和持久性復制；一次性復制發送POST請求到指定數據庫的_replicateURL；其中，請求題為JSON文檔，包含以下內容：POST/_replicateHTTP/1.1{“source”:“example-database”,“target”:“http://example.org/example-database”}；source與target分別表示復制的源數據庫和目的數據庫。3.根據權利要求1所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，基礎設施模塊包括主控制節點和計算節點；主控制節點管理和監控整個Openstack云平臺，提供用戶界面功能、RESTfulAPI功能、網絡資源管理功能和安全認證功能；計算節點為用戶提供云主機資源和存儲資源，提供云主機管理功能、虛擬網絡管理功能和數據存儲功能。4.根據權利要求3所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，計算節點包括KVM模塊、neutron模塊和nova模塊；通過配置計算節點的nova模塊，在nova.conf配置文件中添加主控制節點的IP及主控制節點中keystone的認證令牌tenant，實現主控制節點對計算節點的控制操作。5.根據權利要求3所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，所述安全認證功能包括openstack權限管理、用戶身份認證、組件服務的注冊和訪問端點的注冊。6.根據權利要求1所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，數據檢索模塊通過CouchDB視圖實現文檔檢索，CouchDB視圖通過JavaScript函數定義，并保存于designdocuments文檔中；數據檢索模塊通過MapReduce運行。7.根據權利要求6所述的基于Openstack云平臺實現海量數據可伸縮性存儲的系統，其特征在于，CouchDB視圖要完成的文檔過濾和索引描述，在designdocuments中的map和reduce函數中定義；其中，Map函數實現對數據的過濾或者查詢，reduce函數實現對Map函數返回結果的聚合。8.一種如權利要求1-7任意一項所述存儲...

【專利技術屬性】
技術研發人員：張衛品，戴鴻君，孫宇清，
申請(專利權)人：山東大學，
類型：發明
國別省市：山東,37