用于查詢過濾HBase服務器數據的方法及裝置制造方法及圖紙

本申請公開一種用于查詢過濾HBase服務器數據的方法及裝置，該方法包括：響應客戶端指令，調用HBase協處理器；通過所述HBase協處理器獲取查詢請求；以及通過預定配置與所述查詢請求，生成查詢結果。本申請的用于查詢過濾HBase服務器數據的方法，能夠極大地提高HBase服務器的數據查詢效率。

Method and device for querying and filtering HBase server data

The invention discloses a method and a device for query filtering HBase server data, the method comprises: a response to a client instruction, call the HBase coprocessor; get the query request through the HBase coprocessor; and requested by a predetermined configuration and the query, the query results generated. The method used for querying and filtering HBase server data can greatly improve the data inquiry efficiency of the HBase server.

【技術實現步驟摘要】
用于查詢過濾HBase服務器數據的方法及裝置
本專利技術涉及數據處理和數據查詢
，具體而言，涉及一種用于查詢過濾HBase服務器數據的方法及裝置。
技術介紹
伴隨著互聯網技術的快速發展，網絡的數據量正以極快的速度增長，分布式集群、分布式數據庫、分布式應用等各種技術已經成為人們關注的焦點。分布式集群Hadoop是大數據時代的產品，能夠解決大數據時代的海量數據處理問題。HBase是基于Hadoop之上的一個面向列的分布式數據庫，為分布式應用提供了一種可擴展的、高性能的存儲方案，利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。HBase是運行在Hadoop上的NoSQL數據庫，它是一個分布式的和可擴展的大數據倉庫，也就是說HBase能夠利用HDFS的分布式處理模式，并從Hadoop的MapReduce程序模型中獲益。HBase本身就是十分強大的數據庫，它能夠融合key/value存儲模式帶來實時查詢的能力，以及通過MapReduce進行離線處理或者批處理的能力。如上文所述，目前HBase主要應用在結構化和半結構化的大數據存儲上，其在存儲上和讀取上都具有極高的性能表現。但是，HBase不能支持條件、排序查詢，只支持按照主鍵和主鍵的范圍來查詢。如果存儲的數據量非常大，查詢過程中必然造成通信時間延長，出現大量的網絡IO，極大地降低了查詢性能。因此，需要一種新的用于查詢過濾HBase服務器數據的方法及裝置。在所述
技術介紹
部分公開的上述信息僅用于加強對本專利技術的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。專利技術內容有鑒于此，本專利技術提供一種用于查詢過濾HBase服務器數據的方法及裝置，能夠極大地提高HBase服務器的數據查詢效率。本專利技術的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本專利技術的實踐而習得。根據本專利技術的一方面，提出一種用于查詢過濾HBase服務器數據的方法，該方法包括：響應客戶端指令，調用HBase協處理器；通過所述HBase協處理器獲取查詢請求；以及通過預定配置與查詢請求，生成查詢結果。在本公開的一種示例性實施例中，還包括：通過HBase協處理器定義第一遠程過程調用協議。在本公開的一種示例性實施例中，還包括：通過HBase協處理器定義查詢過濾類。在本公開的一種示例性實施例中，通過HBase協處理器定義查詢過濾類，包括：HBase協處理器繼承第一遠程過程調用協議；通過所述HBase協處理器的所述第一遠程過程調用協議實現CoprocessorService與Coprocessor接口；以及重寫HBase協處理器的第一遠程過程調用協議方法。在本公開的一種示例性實施例中，預定配置包括：在HBase集群的配置文件中配置查詢過濾協處理器類；以及對HBase的表配置查詢過濾的協處理器類。在本公開的一種示例性實施例中，在HBase集群的配置文件中配置查詢過濾協處理器類，包括：通過hbase-site.xml文件的hbase.coprocessor.region.classes屬性添加查詢過濾的協處理器類。在本公開的一種示例性實施例中，對HBase的表配置查詢過濾的協處理器類，包括：通過hbaseshell對HBase的表的coprocessor參數進行查詢過濾協處理器類配置。在本公開的一種示例性實施例中，還包括：對每個RegionServer啟動一個線程來處理請求。根據本專利技術的一方面，提出一種用于查詢過濾HBase服務器數據的方法，該方法包括：構建查詢請求；發送查詢請求至HBase服務器；以及通過coprocessorService方法獲取返回結果。在本公開的一種示例性實施例中，構建查詢請求，包括：通過HBase協處理器的終端構建查詢請求。在本公開的一種示例性實施例中，通過HBase協處理器的終端構建查詢請求，包括：定義用于進程通信的proto文件。在本公開的一種示例性實施例中，proto文件，包括：結構化數據Message：結構化數據Message包括：請求輸入消息與返回消息。在本公開的一種示例性實施例中，還包括：遠程過程調用服務接口Service：所述遠程過程調用服務接口Service包括：定義第一遠程過程調用協議。在本公開的一種示例性實施例中，還包括：第一遠程過程調用協議方法；所述第一遠程過程調用協議方法包括：傳入請求消息，輸出返回消息。根據本專利技術的一方面，提出一種用于查詢過濾HBase服務器數據的裝置，該裝置包括：加載模塊，用于響應客戶端指令，調用HBase協處理器；接收模塊，用于通過所述HBase協處理器獲取查詢請求；以及查詢模塊，用于通過預定配置與查詢請求，生成查詢結果。在本公開的一種示例性實施例中，查詢模塊包括：配置文件子模塊，用于在HBase集群的配置文件中配置查詢過濾協處理器類；以及配置表子模塊，用于對HBase的表配置查詢過濾的協處理器類。根據本專利技術的一方面，提出一種用于查詢過濾HBase服務器數據的裝置，該裝置包括：包括：構建模塊，用于構建查詢請求；發送模塊，用于發送查詢請求至HBase服務器；以及結果模塊，用于通過coprocessorService方法獲取返回結果。根據本專利技術的用于查詢過濾HBase服務器數據的方法及裝置，能夠極大地提高HBase服務器的數據查詢效率。應當理解的是，以上的一般描述和后文的細節描述僅是示例性的，并不能限制本專利技術。附圖說明通過參照附圖詳細描述其示例實施例，本專利技術的上述和其它目標、特征及優點將變得更加顯而易見。下面描述的附圖僅僅是本專利技術的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是根據一示例性實施例示出的一種用于查詢過濾HBase服務器數據的方法的流程圖。圖2是根據另一示例性實施例示出的一種用于查詢過濾HBase服務器數據的方法的流程圖。圖3是根據一示例性實施例示出的一種用于查詢過濾HBase服務器數據的裝置的框圖。圖4是根據另一示例性實施例示出的一種用于查詢過濾HBase服務器數據的裝置的框圖。圖5是根據另一示例性實施例示出的一種用于查詢過濾HBase服務器數據的裝置的框圖。具體實施例現在將參考附圖更全面地描述示例實施例。然而，示例實施例能夠以多種形式實施，且不應被理解為限于在此闡述的實施例；相反，提供這些實施例使得本專利技術將全面和完整，并將示例實施例的構思全面地傳達給本領域的技術人員。在圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重復描述。此外，所描述的特征、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節從而給出對本專利技術的實施例的充分理解。然而，本領域技術人員將意識到，可以實踐本專利技術的技術方案而沒有特定細節中的一個或更多，或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現或者操作以避免模糊本專利技術的各方面。附圖中所示的方框圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以采用軟件形式來實現這些功能實體，或在一個或多個硬件模塊或集成電路中實現這些功能實體，或在不同網絡和/或處理器裝置和/或微控制器裝置中實現這些功能實體本文檔來自技高網...

【技術保護點】
一種用于查詢過濾HBase服務器數據的方法，其特征在于，包括：響應客戶端指令，調用HBase協處理器；通過所述HBase協處理器獲取查詢請求；以及通過預定配置與所述查詢請求，生成查詢結果。

【技術特征摘要】
1.一種用于查詢過濾HBase服務器數據的方法，其特征在于，包括：響應客戶端指令，調用HBase協處理器；通過所述HBase協處理器獲取查詢請求；以及通過預定配置與所述查詢請求，生成查詢結果。2.如權利要求1所述的方法，其特征在于，還包括：通過所述HBase協處理器定義第一遠程過程調用協議。3.如權利要求2所述的方法，其特征在于，還包括：通過所述HBase協處理器定義查詢過濾類。4.如權利要求1所述的方法，其特征在于，所述預定配置包括：在HBase集群的配置文件中配置查詢過濾協處理器類；以及對HBase的表配置查詢過濾的協處理器類。5.如權利要求1所述的方法，其特征在于，還包括：對每個RegionServer啟動一個線程來處理請求。6.一種用于查詢過濾HBase服務器數據的方法，其特征在于，包括：構建查詢請求；發送所述查詢請求至HBase服務...

【專利技術屬性】
技術研發人員：張家鋒，曾明，陳剛，彭麗，李京，
申請(專利權)人：聚龍融創科技有限公司，
類型：發明
國別省市：北京,11