多級部署系統的海量數據共享的方法和裝置制造方法及圖紙

本發明專利技術公開了一種多級部署系統的海量數據共享的方法和裝置。本發明專利技術中，根據數據屬性對數據進行預分類；為每一種屬性的數據配置一個分系統，并將分類后的具有相同屬性的數據存儲在為該屬性數據配置的相應分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。本發明專利技術通過建立不同的分系統，每個分系統存儲某一屬性的數據，通過建立系統路由表以及訪問權限實現各分系統互聯。在任何一個分系統中查詢某一屬性的數據時，將根據查詢類型查詢系統路由表，找到存儲該數據的分系統進行查詢從而實現異地查詢。

【技術實現步驟摘要】

本專利技術涉及數據存儲
，特別涉及一種多級部署系統的海量數據共享的方法、裝置。
技術介紹
隨著互聯網技術的發展，很多需要采集海量數據的大型系統都采用了多級部署的方式，且采集到的數據也大多采取先分塊存儲后再通過同步等機制匯總到一起的方式。這種方式的優點是可以生成一個擁有全部數據的全量，同時又有各個分量，且分量和全量互為備份。這樣，通過訪問全量的一個接口即可訪問全部數據，在后期的查詢操作上節省了大量資源。但是，這種方式同樣存在著一個缺點:如果對數據進行修改操作，就需要在修改了全量數據或分量數據后，然后再通過同步等機制對全量數據和分量數據進行同步。對于一個數據需要經常發生變化，或是需要不斷采集大量數據的系統來說，這一缺點會導致系統的性能急劇下降。特別是在將大量數據同步到全量數據庫時會嚴重影響全量數據庫的性能，從而影響系統的正常使用。另外，由于是海量數據，全量數據庫的存儲空間也是一個不能忽視的問題。
技術實現思路
本專利技術要解決的技術問題是提出了一種針對多級部署系統的海量數據共享的方法和裝置，能夠克服現有技術中頻繁同步對系統性能造成的影響，并節省大量的數據庫服務器的存儲資源以及網絡資源。為解決上述技術問題，根據本專利技術的一個方面，提供了一種多級部署系統的海量數據共享的方法，包括:根據數據屬性對數據進行預分類；為每一種屬性的數據配置一個分系統，并將分類后的具有相同屬性的數據存儲在為該屬性數據配置的相應分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。其中，為每一種屬性的數據配置一個分系統還包括:為每一個分系統設置一個特征標簽以標識出該分系統的類別。進一步,所述方法還包括:根據數據庫的特征生成系統路由表，所述系統路由表中包括每一數據庫的特征與該數據庫的映射關系；將所述系統路由表存儲在每個分系統中。進一步，所述方法還包括:為每一分系統設置訪問其他分系統的訪問權限。進一步，所述方法還包括:當接收到查詢指令時，判斷是否能根據待查數據的屬性判斷該待查數據存儲在那個分系統中，如果能則直接根據所述系統路由表匿名訪問到存儲待查數據的分系統進行查詢；否則遍歷存儲在查詢所述系統路由表進行查詢。根據本專利技術的另一個方面，還提供了一種多級部署系統的海量數據共享的裝置，包括:預分類模塊，用于根據數據屬性對數據進行預分類；預存儲模塊，用于為每一種屬性的數據配置一個分系統，并將具有相同屬性的所述預分類模塊分類后的數據存儲在為該屬性數據配置的相應分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。其中，所述預存儲模塊還用于為每一個分系統設置一個特征標簽以標識出該分系統的類別。其中，所述裝置還包括:路由表模塊，用于根據數據庫的特征生成系統路由表，所述系統路由表中包括所述每一數據庫的特征與該數據庫的映射關系；將所述系統路由表存儲在每個分系統中。其中，所述裝置還包括:訪問權限模塊，用于為每一分系統設置訪問其他分系統的訪問權限。其中，所述裝置還包括:查詢模塊，用于當接收到查詢指令時，判斷是否能根據待查數據的屬性判斷該待查數據存儲在那個分系統中，如果能則直接根據所述系統路由表匿名訪問到存儲待查數據的分系統進行查詢；否則遍歷查詢所述系統路由表進行查詢。本專利技術通過以能夠明顯區分數據的某個標志將數據分類，建立不同的分系統，每個分系統存儲某一屬性的數據，通過建立系統路由表以及訪問權限，實現各分系統互聯。在任何一個分系統中查詢某一屬性的數據時，將根據查詢類型查詢系統路由表，找到存儲該數據的分系統進行查詢，從而實現異地查詢。與現有技術相比較，本專利技術技術方案不再必須通過同步等手段組建一個全量的數據庫，從而不會有實現全量數據庫的網絡開銷以及數據庫性能開銷以及存儲資源的開銷，同時也省去了維護全量數據和分量數據一致性帶來的工作量。雖然訪問其它分系統進行異地查詢會造成系統負載增加，但是相對于全局數據的負載，異地查詢的負載要小的多。附圖說明圖1為本專利技術實施例的多級部署系統的海量數據共享的方法的流程示意圖；圖2為本專利技術實施例的多級部署系統的海量數據共享的裝置的結構示意圖。具體實施例方式為使本專利技術要解決的技術問題、技術方案和優點更加清楚，下面將結合附圖及具體實施例進行詳細描述。本專利技術針對現有技術的分布式存儲系統對于分量和全量分別進行操作導致數據要經常發生變化或者要不斷采集大量數據時會造成系統性能急劇下降的問題，提出了一種針對多級部署系統的海量數據共享的方法和裝置，能夠克服現有技術中頻繁同步對系統性能造成的影響，并節省大量的數據庫服務器的存儲資源以及網絡資源。根據本專利技術的實施例，在多級部署系統的海量數據共享的方法和系統中，首先根據數據的屬性對數據進行預分類；然后，針對每一種數據屬性，配置相應的分系統，并將具有每一種數據屬性的預分類數據存儲在相應的分系統中。本專利技術中，將存儲數據的系統為多級部署系統，每一級的每一個分系統都有自己獨立的數據庫，且每一個數據庫都可以用來存儲海量數據。各分系統的數據很少或者幾乎沒有交叉，數據能有明顯的區分。根據本專利技術的技術方案，不再必須通過同步等手段組建一個全量的數據庫，從而不會有實現全量數據庫的網絡開銷以及數據庫性能開銷以及存儲資源的開銷，同時也省去了維護全量數據和分量數據一致性帶來的工作量。雖然訪問其它分系統進行異地查詢會造成系統負載增加，但是相對于全局數據的負載，異地查詢的負載要小的多。在本專利技術的實施例中，數據屬性可以是表示數據是屬于全國范圍內的數據還是局部地區的數據，也可以是表示數據是屬于集團公司的數據還是屬于集團公司下面的各個子公司的數據。例如，可以將數據按照地域劃分，不同的分系統存儲不同地域的數據。當然，分類方式有很多種，在此不再枚舉。下面，結合附圖1所示實施例詳細介紹多級部署系統的海量數據共享的方法；具體的，在步驟1，根據數據的屬性對數據進行預分類。例如，根據采集的數據屬性，對數據進行分類。如果數據屬性表明數據涉及到是全國數據還是局部地區數據，可以按照省份或者其它地域方式將數據進行分類。在步驟2，針對每一種屬性的數據，為其配置相應的分系統，并根據數據的屬性，將所述分類后的數據存儲在相應的分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。為了方便地將每一分類的數據存儲到相應的分系統，可以為每一個分系統設置一個特征標簽，以標識出該分系統的類別。在步驟3，根據數據庫的特征生成路由表，所述路由表中包括所述每一數據庫的特征與該數據庫的映射關系。由于不同類型的數據存儲在不同的分系統中，因此當需要查詢數據的時候，就需要找到分系統的網絡地址。配置分系統的網絡標識以表明每一數據庫的特征與該數據庫的映射關系，然后匯總成系統路由表，并將系統路由表存儲在每個分系統中。這樣，每個分系統都可以利用其內存儲的系統路由表訪問到其它分系統的網絡地址以進行數據查詢。在步驟4，為每一分系統設置訪問其他分系統的訪問權限。本專利技術中，對于每個分系統，都要為其它分系統配置訪問權限。顯然，各個分系統為其他分系統所配置的訪問權限可以不相同。對于任意一個分系統，可以根據實際需要，例如只開放查詢權限，保證其它分系統可以正常調用該系統的服務，從而達到其它分系統異地訪問本分系統的目的。在步驟5，當接收到查詢指令時，判斷是否能根據待查數據判斷該待查數據存儲在那個本文檔來自技高網...

【技術保護點】
一種多級部署系統的海量數據共享的方法，其特征在于，包括：根據數據屬性對數據進行預分類；為每一種屬性的數據配置一個分系統，并將分類后的具有相同屬性的數據存儲在為該屬性數據配置的相應分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。

【技術特征摘要】
1.一種多級部署系統的海量數據共享的方法，其特征在于，包括:根據數據屬性對數據進行預分類；為每一種屬性的數據配置一個分系統，并將分類后的具有相同屬性的數據存儲在為該屬性數據配置的相應分系統中以使具有相同屬性的每一分類的數據只存儲在一個分系統中。2.根據權利要求1所述的方法，其特征在于，為每一種屬性的數據配置一個分系統還包括:為每一個分系統設置一個特征標簽以標識出該分系統的類別。3.根據權利要求2所述的方法，其特征在于，所述方法還包括:根據數據庫的特征生成系統路由表，所述系統路由表中包括每一數據庫的特征與該數據庫的映射關系；將所述系統路由表存儲在每個分系統中。4.根據權利要求3所述的方法，其特征在于，所述方法還包括:為每一分系統設置訪問其他分系統的訪問權限。5.根據權利要求4所述的方法，其特征在于，所述方法還包括:當接收到查詢指令時，判斷是否能根據待查數據的屬性判斷該待查數據存儲在那個分系統中，如果能則直接根據所述系統路由表匿名訪問到存儲待查數據的分系統進行查詢；否則遍歷存儲在查詢所述系統路由表進行查詢。6.一種多級部署系統的海量數據共享的...

【專利技術屬性】
技術研發人員：蘇超，李淑惠，寧江，鄭揚飛，何巖，賈曉霞，王志堅，胡春波，郭彥義，劉毅，
申請(專利權)人：中國電子科技集團公司第十五研究所，
類型：發明
國別省市：