海量異構數據的存儲方法及系統技術方案

本發明專利技術公開了一種海量異構數據的存儲方法及系統，包括：客戶端、負載均衡器、數據加載服務器和統一數據管理單元，客戶端負責采集和接收用戶數據，向負載均衡器發出數據加載請求；負載均衡器動態分配數據加載服務器給客戶端；加載服務器根據統一數據管理單元中數據管理節點的管理信息，將客戶端的數據加載至數據存儲節點；統一數據管理單元包括數據存儲節點和數據管理節點。本發明專利技術海量異構數據的存儲方法及系統可以對包含結構化數據、半結構化數據和非結構數據的大數據進行統一加載，實現了海量結構化數據、半結構化數據和非結構化數據的有效結合和統一存儲管理，與傳統的結構化數據庫相比，解決了半結構化和非結構化數據的存儲問題，有效降低了數據管理方面的成本。

【技術實現步驟摘要】
海量異構數據的存儲方法及系統
本專利技術涉及數據存儲領域，尤其涉及海量異構數據的存儲方法。
技術介紹
在信息時代，伴隨著互聯網、多媒體、社會媒體以及物聯網、云計算的發展，越來越多的數據將被收集，而這些數據的產生更是異常龐雜，更帶來了數據的指數級的增長趨勢。它的特征之一就是數據的密集爆發，隨之而來的就是數據的處理難度不斷加大，人們也意識到數據帶來的商業價值非常巨大。然而，海量數據并不僅僅意味著數據量的爆炸性增長，它還涉及到多種異構的數據類型，結構化、半結構化和非結構化并存的狀態。互聯網中出現諸如圖片、音頻、視頻等非結構化數據越來越多，甚至增長速度遠遠超過了結構化數據的增速。如果從這些非結構化數據中挖掘商業價值，成為我們面臨的又一難題。多源、異構是海量數據的特點，如何實現高效、智能的存儲和分析處理這些海量數據？非結構化和半結構化數據正在呈海量增長趨勢，如何對其進行有效的數據管理和應用？如此種種問題，逐漸成為了新時代共同的挑戰。目前，針對海量數據復雜的處理需求，對不同類型數據的聯合分析、復雜的關聯查詢、快速檢索等，僅僅通過結構化的數據處理方式是無法滿足的。而通過目前流行的Hadoop以及它的一些子項目來處理，也僅僅是支持單一類型、靜態的數據進行分析處理，仍然不能有效地支持多來源、異構、動態、海量數據的分析處理。有效地將多來源、異構、動態、海量數據進行統一存儲和分析處理是當前迫切需要解決的問題。
技術實現思路
本專利技術的目的是要提供一種海量異構數據的存儲方法及系統，可以解決上述現有技術問題中的一種或多種。本專利技術海量異構數據的存儲方法及系統可以對包含結構化數據、半結構化數據和非結構數據的大數據進行統一加載，實現了海量結構化數據、半結構化數據和非結構化數據的有效結合和統一存儲管理與傳統的結構化數據庫相比，解決了半結構化和非結構化數據的存儲問題，有效降低了數據管理方面的成本。根據本專利技術的一方面，提供了一種海量異構數據的存儲方法，包括:多個數據加載服務器在負載均衡器上進行注冊；客戶端向負載均衡器發出數據加載請求；負載均衡器動態分配數據加載服務器給客戶端，客戶端向該數據加載服務器傳輸數據；數據加載服務器根據統一數據管理單元中數據管理節點的管理信息，將客戶端的數據加載至數據存儲節點。在一些實施方式中，負載均衡器接受請求并且根據數據加載服務器的不同處理能力，給每個數據加載服務器分配不同的權值，以便數據加載服務器能夠接受相應權值數的服務請求，負載均衡器將權值與連接數比值最大的數據加載服務器分配給客戶端。充分使用數據加載服務器。在一些實施方式中，數據加載服務器依據數據的元數據信息進行數據分類，并將其加載至相應的數據存儲節點中。由此，具有支持多來源、異構數據的存儲能力。在一些實施方式中，數據管理節點還實時監控數據存儲節點的定期心跳包，一個心跳包的消息到達表示這個數據存儲節點是正常工作狀態，數據管理節點根據這個消息定期驗證數據存儲節點是否處于正常工作狀態，并周期性根據數據的屬性將數據劃分為不同類型，分類存儲至各個的數據存儲節點中。由此，具有支持動態、海量數據的存儲能力。根據本專利技術的另方面，提供了一種海量異構數據的存儲系統，其中，包括:客戶端，負責采集和接收用戶數據，向負載均衡器發出數據加載請求；負載均衡器，動態分配所述數據加載服務器給客戶端；數據加載服務器，根據統一數據管理單元中數據管理節點的管理信息，將客戶端的數據加載至數據存儲節點；統一數據管理單元，包括數據存儲節點和數據管理節點。在一些實施方式中，數據存儲節點存儲結構化數據、半結構化數據和非結構化數據。在一些實施方式中，數據管理節點存儲元數據信息。在一些實施方式中，元數據信息包括數據的屬性和配置信息、數據結構、數據存儲位置信息。【附圖說明】圖1為本專利技術一種實施方式的海量異構數據的存儲方法的數據傳輸結構示意圖；圖2為本專利技術海量異構數據的存儲方法及系統的工作流程圖；圖3為本專利技術海量異構數據的存儲方法及系統加權最少連接調度算法的流程圖。【具體實施方式】下面結合附圖及具體實施例對專利技術作進一步的詳細描述說明。圖1示意性地顯示了本專利技術的一種實施方式的海量異構數據的存儲方法的數據傳輸結構。如圖1、2所示，根據本專利技術的一個實施方式，提供了一種海量異構數據的存儲方法，包括:多個數據加載服務器30在負載均衡器20上進行注冊；客戶端10向負載均衡器20發出數據加載請求；負載均衡器20動態分配數據加載服務器30給客戶端10，客戶端10向該數據加載服務器30傳輸數據；數據加載服務器30根據統一數據管理單元40中數據管理節點41的管理信息，將客戶端10的數據加載至數據存儲節點42。本專利技術海量異構數據的存儲方法包括，在步驟SI中，多個數據加載服務器30把各自的實例程序在負載均衡器20上進行注冊并啟動。在步驟S2中，客戶端10向負載均衡器20發出數據加載請求，在步驟S3中，負載均衡器20接受數據加載請求并且根據對數據加載服務器30的不同處理能力，給每個數據加載服務器30分配不同的權值，在步驟S4中，負載均衡器20根據數據加載服務器30的負載情況，動態地調整其權值，系統管理員也可以動態地設置數據加載服務器30的權值，權值表示各個數據加載服務器30的處理性能。權值越大則數據加載服務器30性能越強，在步驟S5中，負載均衡器20將權值與連接數比值最大的數據加載服務器30分配給該客戶端10。如圖3所示，加權最少連接調度算法，包括如下步驟:步驟101:隨機確定遍歷起始地址，首先處理器確定一個隨機數，如可以選取0-100的隨機數對服務器組中服務器臺數求余后加I得到的一個隨機數，假設確定的隨機數為3 ；步驟102:遍歷所有首數，也就是處理器從第3臺服務器開始遍歷所有數據加載服務器的連接數；步驟103:判斷是否存在最小首數；步驟104:如果存在最小首數，則根據權值與首數(連接數)的比值大小選擇比值最大的數據加載服務器接入；步驟105:如果不存在最小首數，則隨機選擇數據加載服務器接入；負載均衡器的負載策略是采用了加權最少連接調度(Weighted Least-Connection Scheduling)算法,此算法是在最少連接數調度算法的基礎上的改進。而最少連接調度(Least-Connection Scheduling)算法是把新的連接請求分配到當前連接數最少的服務器。它通過服務器當前所活躍的連接數來估計服務器的負載情況。加權最少連接調度在調度新連接時盡可能使服務器的已建立連接數和其權值成比例。對加權最少連接調度算法流程進行示例說明。假設有一組服務器S ={SO, SI,..., Sn-1}，W(Si)表示服務器Si的權值，C(Si)表示服務器Si的當前連接數。所有服務器當前連接數的總和為CSUM = XC(Si) (i = 0，l，...，n-l)當前的新連接請求會被發送服務器Sm,當且僅當服務器Sm滿足以下條件(C(Sm)/CSUM)/W(Sm) = min{ (C(Si)/CSUM)/W(Si)} (i = 0，1，...，n-1)，其中W(Si)不為零，因為CSUM在這一輪查找中是個常數，所以判斷條件可以簡化為 C(Sm) /ff (Sm) = min {C(Si)/ff (Si)} (i = O, 本文檔來自技高網...

【技術保護點】
一種海量異構數據的存儲方法，包括:多個數據加載服務器在負載均衡器上進行注冊；客戶端向負載均衡器發出數據加載請求；負載均衡器動態分配數據加載服務器給客戶端，客戶端向數據加載服務器傳輸數據；數據加載服務器根據統一數據管理單元系統中數據管理節點的管理信息，將客戶端的數據加載至數據存儲節點。

【技術特征摘要】
2014.03.28 CN 201410124411.11.一種海量異構數據的存儲方法，包括: 多個數據加載服務器在負載均衡器上進行注冊； 客戶端向負載均衡器發出數據加載請求； 負載均衡器動態分配數據加載服務器給客戶端，客戶端向數據加載服務器傳輸數據； 數據加載服務器根據統一數據管理單元系統中數據管理節點的管理信息，將客戶端的數據加載至數據存儲節點。2.根據權利要求1所述海量異構數據的存儲方法，其中，所述負載均衡器接受請求并且根據數據加載服務器的不同處理能力，給每個數據加載服務器分配不同的權值，以便所述數據加載服務器能夠接受相應權值數的服務請求，所述負載均衡器將權值與連接數比值最大的數據加載服務器分配給所述客戶端。3.根據權利要求1所述海量異構數據的存儲方法，其中，所述數據加載服務器依據數據的元數據信息進行數據分類，并將其加載至相應的數據存儲節點。4.根據權利要求1或2所述海量異構數據的存儲方法，其中，所...

【專利技術屬性】
技術研發人員：吳禮裔，
申請(專利權)人：廣東軒轅網絡科技股份有限公司，
類型：發明
國別省市：廣東;44