一種分布式搜索的架構制造技術

本發(fā)明專利技術屬于搜索領域，公開了一種分布式搜索的架構，一種基于文件系統(tǒng)的全文檢索，把全文檢索的功能獨立出來，成為一個單獨的服務，這樣可以和數據庫分開部署，從而減輕數據庫的壓力，同時增強檢索服務的性能，數據庫壓力降低，整體性能得到提升，同時可擴展性強。

【技術實現步驟摘要】
一種分布式搜索方法
本專利技術涉及搜索領域，尤其涉及一種分布式搜索方法。
技術介紹
目前，基于數據庫的全文檢索，是在數據庫上增加了一個全文檢索的模塊，該模塊功能和數據庫集成在一起，占用數據庫服務器的資源。在查詢壓力比較大的情形下，經常導致數據庫服務器負載過高，不能向應用提供正常服務。
技術實現思路
為了解決上述技術問題，本專利技術的目的在于提供一種基于文件系統(tǒng)的全文檢索，把全文檢索的功能獨立出來，成為一個單獨的服務，這樣可以和數據庫分開部署，從而減輕數據庫的壓力，同時增強檢索服務的性能的分布式搜索的架構。本專利技術的完整技術方案是，一種分布式搜索方法，包括一個搜索引擎集群，所述搜索引擎集群位于數據庫之前、應用之后，所述搜索引擎集群包括Zookeeper、Katta、HDFS、Solr；Solr用于創(chuàng)建索引：通過連接到數據庫，獲取數據行，創(chuàng)建索引分片；HDFS用于存儲索引：通過其中的Hadoop控制臺，存儲分片到HDFS上；Katta用于部署、更新以及查詢索引：通過Katta控制臺，發(fā)布索引分片，Katta自動部署分片到索引節(jié)點；未滿的分片需要繼續(xù)填充索引文檔，然后更新到已發(fā)布的節(jié)點上；應用發(fā)出的查詢，由Katta客戶端處理：首先向索引節(jié)點發(fā)出獲取索引ID的請求，進行排序等處理，然后根據ID發(fā)出獲取具體的文檔；Zookeeper作為分布式協(xié)調器的一部分。所述索引分片的大小小于等于10G或小于等于1500萬行。由上可見，本專利技術與現在技術相比有如下有益效果：本專利技術提供一種基于文件系統(tǒng)的全文檢索，把全文檢索的功能獨立出來，成為一個單獨的服務，這樣可以和數據庫分開部署，從而減輕數據庫的壓力，同時增強檢索服務的性能，數據庫壓力降低，整體性能得到提升，同時可擴展性強。附圖說明此處所說明的附圖用來提供對本專利技術的進一步理解，構成本申請的一部分，并不構成對本專利技術的不當限定，在附圖中：圖1為本專利技術邏輯原理圖；圖2為本專利技術的創(chuàng)建索引的示意圖；圖3為本專利技術的查詢處理的示意圖；圖4為本專利技術的實施例1原理示意圖。具體實施方式下面將結合附圖以及具體實施例來詳細說明本專利技術，在此本專利技術的示意性實施例以及說明用來解釋本專利技術，但并不作為對本專利技術的限定。實施例1：本實施例一種分布式搜索方法，如圖所示，在數據庫之前，應用之后，增加三臺服務器，作為搜索引擎集群。包括一個搜索引擎集群，所述搜索引擎集群采用Zookeeper、Katta、HDFS、Solr為基礎架構；Solr用于創(chuàng)建索引：通過連接到數據庫，獲取數據行，創(chuàng)建索引分片；HDFS用于存儲索引：通過其中的Hadoop控制臺，存儲分片到HDFS上；Katta用于部署、更新以及查詢索引：通過Katta控制臺，發(fā)布索引分片，Katta自動部署分片到索引節(jié)點；未滿的分片需要繼續(xù)填充索引文檔，然后更新到已發(fā)布的節(jié)點上；應用發(fā)出的查詢，由Katta客戶端處理：首先向索引節(jié)點發(fā)出獲取索引ID的請求，進行排序等處理，然后根據ID發(fā)出獲取具體的文檔；Zookeeper作為分布式協(xié)調器的一部分。每臺服務器至少充當三種角色：1.HDFS服務器，作為分布式存儲系統(tǒng)的一部分2.ZkServer服務器，作為分布式協(xié)調器的一部分3.Katta查詢處理服務器，作為分布式搜索服務的一部分其中MasterNode服務器作為主控服務器，處理創(chuàng)建索引的工作，同時作為查詢服務器，接收所有的查詢請求，并且轉發(fā)給后續(xù)的SlaveNode服務器；SlaveNode服務器主要作為查詢處理服務器，真正處理查詢請求，返回查詢結果。由上可見，本專利技術提供一種基于文件系統(tǒng)的全文檢索，把全文檢索的功能獨立出來，成為一個單獨的服務，這樣可以和數據庫分開部署，從而減輕數據庫的壓力，同時增強檢索服務的性能，數據庫壓力降低，整體性能得到提升，同時可擴展性強。以上對本專利技術實施例所提供的技術方案進行了詳細介紹，本文中應用了具體個例對本專利技術實施例的原理以及實施方式進行了闡述，以上實施例的說明只適用于幫助理解本專利技術實施例的原理；同時，對于本領域的一般技術人員，依據本專利技術實施例，在具體實施方式以及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本專利技術的限制。本文檔來自技高網...

【技術保護點】
一種分布式搜索架構，其特征在于，包括一個搜索引擎集群，所述搜索引擎集群位于數據庫之前、應用之后，所述搜索引擎集群采用Zookeeper、Katta、HDFS、Solr為基礎架構；Solr用于創(chuàng)建索引：通過連接到數據庫，獲取數據行，創(chuàng)建索引分片；HDFS用于存儲索引：通過其中的Hadoop控制臺，存儲分片到HDFS上；Katta用于部署、更新以及查詢索引：通過Katta控制臺，發(fā)布索引分片，Katta自動部署分片到索引節(jié)點；未滿的分片需要繼續(xù)填充索引文檔，然后更新到已發(fā)布的節(jié)點上；應用發(fā)出的查詢，由Katta客戶端處理：首先向索引節(jié)點發(fā)出獲取索引ID的請求，進行排序等處理，然后根據ID發(fā)出獲取具體的文檔；Zookeeper作為分布式協(xié)調器的一部分。

【技術特征摘要】
1.一種分布式搜索方法，其特征在于，包括一個搜索引擎集群，所述搜索引擎集群位于數據庫之前、應用之后，所述搜索引擎集群包括Zookeeper、Katta、HDFS、Solr；Solr用于創(chuàng)建索引：通過連接到數據庫，獲取數據行，創(chuàng)建索引分片；HDFS用于存儲索引：通過其中的Hadoop控制臺，存儲分片到HDFS上；Katta用于部署、更新以及查詢索引：通過Katta控制臺，發(fā)布索引...

【專利技術屬性】
技術研發(fā)人員：嚴緯，
申請(專利權)人：上海特易信息科技有限公司，
類型：發(fā)明
國別省市：