分布式視頻垂直搜索方法及系統技術方案

本發明專利技術提供了一種分布式視頻垂直搜索方法及系統，該方法包括離線處理步驟和在線處理步驟，在離線處理中包括：視頻采集、視頻存儲、視頻信息的索引創建；在線處理步驟中包括：用戶交互、視頻檢索。本發明專利技術的有益效果是本發明專利技術基于視頻領域，提出一種基于Hadoop和ElasticSearch的分布式視頻垂直搜索的技術方案，對于海量視頻數據，提出一種有效的分布式搜索方案，解決了海量視頻的批量快速采集、實時搜索等問題，從而實現了高效的實時搜索、離線處理海量視頻的快速采集工作。

【技術實現步驟摘要】
分布式視頻垂直搜索方法及系統
本專利技術涉及視頻搜索領域，尤其涉及分布式視頻垂直搜索方法及系統。
技術介紹
隨著web2.0以及互聯網的快速發展，互聯網上面的資源量迅速的增長，呈現一種爆炸式的增長速度。如何從海量的、種類繁多的信息資源中找到自己需要的視頻信息，給搜索引擎帶來挑戰，也是目前技術中的不足、以及要解決的問題。
技術實現思路
為了解決現有技術中的問題，本專利技術提供了一種分布式視頻垂直搜索方法。本專利技術提供了一種分布式視頻垂直搜索方法，其特征在于，包括離線處理步驟和在線處理步驟；離線處理步驟中包括:A.視頻采集步驟:獲取視頻數據資源；B.視頻存儲步驟:將視頻采集步驟中獲取的視頻數據資源存入數據庫中；C.視頻信息的索引創建步驟:創建分布式索引；在線處理步驟中包括:用戶交互步驟:提供搜索輸入界面、以及返回展示界面；視頻檢索步驟:根據搜索輸入界面輸入的搜索關鍵詞進行視頻檢索，將檢索到的視頻數據通過返回展示界面進行顯示。作為本專利技術的進一步改進，在所述視頻采集步驟中，通過互聯網視頻開放平臺提供的API獲取視頻資源，此過程運行在Hadoop集群之上，通過Map任務，訪問視頻開放平臺服務器，獲取視頻JSON格式的數據并解析成自己定義的視頻類的格式，循環獲取直到Map任務結束；在所述視頻存儲步驟中，視頻存儲過程運行于Hadoop集群和HBase集群之上，通過Reduce過程把視頻采集步驟中獲取的視頻信息進行解析，再獲取分布式數據庫HBase的存儲入口，將視頻信息存入事先定義的視頻庫中，循環直到Reduce任務結束；在視頻信息的索引創建步驟中，視頻信息的索引創建運行于HBase集群和ElasticSearch集群之上，首先獲取HBase數據庫中的視頻信息，再通過封裝ElasticSearch的索引創建接口來創建分布式索引分片和索引副本，索引存儲于ElasticSearch集群之上,直到HBase視頻庫中視頻數據創建完畢,此過程結束；視頻檢索步驟運行于ElasticSearch集群之上。作為本專利技術的進一步改進，在所述視頻采集步驟中包括如下步驟:Al.視頻分片，設置分片個數；A2.生成視頻連接URL;A3.根據生成的URL，訪問開放平臺的服務器，獲取URL對應的視頻數據，其格式為JSON類型；A4.根據獲取的JSON類型的視頻數據，利用相應的JSON解析接口對JSON數據進行解析，并轉化為自己定義的視頻類；在所述視頻存儲步驟中包括如下步驟:B1.完成視頻類的解析過程，把視頻信息解析成對應的視頻屬性信息；B2.接收視頻屬性信息，并調用分布式數據庫HBase的寫入接口把相應的視頻信息存入的數據庫中。作為本專利技術的進一步改進，在所述視頻信息的索引創建步驟中包括如下步驟:Cl.連接HBase分布式數據庫，獲取視頻信息；C2.將獲取的視頻信息打包成JSON類型的數據；C3.獲得JSON類型的視頻信息，經過一個hash過程把相應的視頻分配到對應的索引分片當中建立索引，索引完成后進彳丁副本的創建；C4.判斷數據庫中視頻數據是否完成，如是，則結束；否則跳到步驟Cl繼續執行。作為本專利技術的進一步改進，在所述在線處理步驟中包括如下步驟:第一步:用戶通過用戶查詢接口方便的輸入查詢關鍵詞，提交給檢索服務器；第二步:檢索服務器負責把用戶提交的查詢關鍵詞分發給各個節點服務器；第三步:各個節點服務器接收到檢索服務器發送過來的檢索請求后，自動檢索本節點上索引分片，完成并行搜索的過程，并把結果返回；第四步:檢索服務器接收各個節點服務器返回的視頻數據，并把其視頻數據進行融合，以供返回給用戶；第五步:將檢索服務器返回的視頻數據顯示給用戶。本專利技術還提供了一種分布式視頻垂直搜索系統，包括離線處理單元和在線處理單元;離線處理單元中包括:視頻采集模塊:用于獲取視頻數據資源；視頻存儲模塊:用于將視頻采集模塊中獲取的視頻數據資源存入數據庫中；視頻信息的索引創建模塊:用于創建分布式索引；在線處理單元中包括:用戶交互模塊:用于提供搜索輸入界面、以及返回展示界面；視頻檢索模塊:用于根據搜索輸入界面輸入的搜索關鍵詞進行視頻檢索，將檢索到的視頻數據通過返回展示界面進行顯示。作為本專利技術的進一步改進，在所述視頻采集模塊中，通過互聯網視頻開放平臺提供的API獲取視頻資源，此過程運行在Hadoop集群之上，通過Map任務，訪問視頻開放平臺服務器，獲取視頻JSON格式的數據并解析成自己定義的視頻類的格式，循環獲取直到Map任務結束；在所述視頻存儲模塊中，視頻存儲過程運行于Hadoop集群和HBase集群之上，通過Reduce過程把視頻采集步驟中獲取的視頻信息進行解析，再獲取分布式數據庫HBase的存儲入口，將視頻信息存入事先定義的視頻庫中，循環直到Reduce任務結束；在視頻信息的索引創建模塊中，視頻信息的索引創建運行于HBase集群和ElasticSearch集群之上，首先獲取HBase數據庫中的視頻信息，再通過封裝ElasticSearch的索引創建接口來創建分布式索引分片和索引副本，索引存儲于ElasticSearch集群之上,直到HBase視頻庫中視頻數據創建完畢,此過程結束；視頻檢索模塊運行于ElasticSearch集群之上。作為本專利技術的進一步改進，在所述視頻采集模塊中包括:分片模塊:用于視頻分片，設置分片個數；生成模塊:用于生成視頻連接URL ；獲取模塊:用于根據生成的URL，訪問開放平臺的服務器，獲取URL對應的視頻數據，其格式為JSON類型；轉化模塊:用于根據獲取的JSON類型的視頻數據，利用相應的JSON解析接口對JSON數據進行解析，并轉化為自己定義的視頻類；在所述視頻存儲模塊中包括:解析模塊:用于完成視頻類的解析過程，把視頻信息解析成對應的視頻屬性信息；存入模塊:用于接收視頻屬性信息，并調用分布式數據庫HBase的寫入接口把相應的視頻信息存入的數據庫中。作為本專利技術的進一步改進，在所述視頻信息的索引創建模塊中包括:連接模塊:用于連接HBase分布式數據庫，獲取視頻信息；打包模塊:用于將獲取的視頻信息打包成JSON類型的數據；處理模塊:用于獲得JSON類型的視頻信息，經過一個hash過程把相應的視頻分配到對應的索引分片當中建立索引，索引完成后進行副本的創建；判斷模塊:用于判斷數據庫中視頻數據是否完成，如是，則結束；否則跳到步驟Cl繼續執行。作為本專利技術的進一步改進，在所述在線處理單元中包括:輸入模塊:用戶通過用戶查詢接口方便的輸入查詢關鍵詞，提交給檢索服務器；分發模塊:用于檢索服務器負責把用戶提交的查詢關鍵詞分發給各個節點服務器；檢索模塊:用于各個節點服務器接收到檢索服務器發送過來的檢索請求后，自動檢索本節點上索引分片，完成并行搜索的過程，并把結果返回；返回模塊:用于檢索服務器接收各個節點服務器返回的視頻數據，并把其視頻數據進行融合，以供返回給用戶；顯示模塊:用于將檢索服務器返回的視頻數據顯示給用戶。本專利技術的有益效果是:本專利技術基于視頻領域，提出一種基于Hadoop和ElasticSearch的分布式視頻垂直搜索的技術方案,對于海量視頻數據,提出一種有效的分布式搜索方案，解決了海量視頻的批量快速采集、實時搜索等問題，從而實現了高效的實時搜索、離線處理海量視頻的本文檔來自技高網...

【技術保護點】
一種分布式視頻垂直搜索方法，其特征在于，包括離線處理步驟和在線處理步驟；離線處理步驟中包括：A.視頻采集步驟：獲取視頻數據資源；B.視頻存儲步驟：將視頻采集步驟中獲取的視頻數據資源存入數據庫中；C.視頻信息的索引創建步驟：創建分布式索引；在線處理步驟中包括：用戶交互步驟：提供搜索輸入界面、以及返回展示界面；視頻檢索步驟：根據搜索輸入界面輸入的搜索關鍵詞進行視頻檢索，將檢索到的視頻數據通過返回展示界面進行顯示。

【技術特征摘要】
1.一種分布式視頻垂直搜索方法，其特征在于，包括離線處理步驟和在線處理步驟； 離線處理步驟中包括: A.視頻采集步驟:獲取視頻數據資源； B.視頻存儲步驟:將視頻采集步驟中獲取的視頻數據資源存入數據庫中； C.視頻信息的索引創建步驟:創建分布式索引； 在線處理步驟中包括: 用戶交互步驟:提供搜索輸入界面、以及返回展示界面； 視頻檢索步驟:根據搜索輸入界面輸入的搜索關鍵詞進行視頻檢索，將檢索到的視頻數據通過返回展示界面進行顯示。2.根據權利要求1所述的分布式視頻垂直搜索方法，其特征在于: 在所述視頻采集步驟中，通過互聯網視頻開放平臺提供的API獲取視頻資源，此過程運行在Hadoop集群之上，通過Map任務，訪問視頻開放平臺服務器，獲取視頻JSON格式的數據并解析成自己定義的視頻類的格式，循環獲取直到Map任務結束； 在所述視頻存儲步驟中，視頻存儲過程運行于Hadoop集群和HBase集群之上，通過Reduce過程把視頻采集步驟中獲取的視頻信息進行解析，再獲取分布式數據庫HBase的存儲入口，將視頻信息存入事先定義的視頻庫中，循環直到Reduce任務結束； 在視頻信息的索引創建步驟中，視頻信息的索引創建運行于HBase集群和ElasticSearch集群之上，首先獲取HBase數據庫中的視頻信息，再通過封裝ElasticSearch的索引創建接口來創建分布式索引分片和索引副本，索引存儲于ElasticSearch集群之上,直到HBase視頻庫中視頻數據創建完畢,此過程結束； 視頻檢索步驟運行于ElasticSearch集群之上。3.根據權利要求2所述的分布式視頻垂直搜索方法，其特征在于，在所述視頻采集步驟中包括如下步驟: Al.視頻分片，設置分片個數； A2.生成視頻連接URL; A3.根據生成的URL，訪問開放平臺的服務器，獲取URL對應的視頻數據，其格式為JSON類型； A4.根據獲取的JSON類型的視頻數據，利用相應的JSON解析接口對JSON數據進行解析，并轉化為自己定義的視頻類； 在所述視頻存儲步驟中包括如下步驟: B1.完成視頻類的解析過程，把視頻信息解析成對應的視頻屬性信息； B2.接收視頻屬性信息，并調用分布式數據庫HBase的寫入接口把相應的視頻信息存入的數據庫中。4.根據權利要求3所述的分布式視頻垂直搜索方法，其特征在于，在所述視頻信息的索引創建步驟中包括如下步驟: Cl.連接HBase分布式數據庫，獲取視頻信息； C2.將獲取的視頻信息打包成JSON類型的數據； C3.獲得JSON類型的視頻信息，經過一個hash過程把相應的視頻分配到對應的索引分片當中建立索引，索引完成后進彳丁副本的創建；C4.判斷數據庫中視頻數據是否完成，如是，則結束；否則跳到步驟Cl繼續執行。5.根據權利要求4所述的分布式視頻垂直搜索方法，其特征在于，在所述在線處理步驟中包括如下步驟: 第一步:用戶通過用戶查詢接口方便的輸入查詢關鍵詞，提交給檢索服務器； 第二步:檢索服務器負責把用戶提交的查詢關鍵詞分發給各個節點服務器；第三步:各個節點服務器接收到檢索服務器發送過來的檢索請求后，自動檢索本節點上索引分片，完成并行搜索的過程，并把結果返回； 第四步:檢索服務器接收各個節點服務器返回的視頻數據，并把其視頻數據進行融合，以供返回給用戶； 第五步:將檢索服務器返回的視頻數據顯示給用戶。6.一種分布式視頻垂直搜索系統，其特征在于...

【專利技術屬性】
技術研發人員：何震宇，張高偉，陳明明，劉偉，
申請(專利權)人：何震宇，
類型：發明
國別省市：廣東;44