一種基于深度包檢測的海量數據監控系統及方法技術方案

本發明專利技術提供了一種基于深度包檢測的海量數據監控系統，屬于監控領域，所述系統設置有多個探針服務器,所述系統進一步包括：數據采集模塊，用于按照同宿同源的規則將待監控數據分發至多個探針服務器，其中，每個所述探針服務器中設置有至少一個數據監控模塊；數據監控模塊，用于根據預設配置采集所述數據采集模塊分發的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測；緩存模塊，用于緩存所述待監控數據的識別結果和網絡傳輸信息；數據處理模塊，用于分布式存儲和分析所述緩存模塊發送的所述識別結果和網絡傳輸信息，生成監控數據。與現有技術相比，可以實現高效地監控海量數據。

【技術實現步驟摘要】
一種基于深度包檢測的海量數據監控系統及方法
本專利技術涉及數據監控領域，特別是涉及一種基于深度包檢測的海量數據監控系統及方法。
技術介紹
隨著互聯網技術的不斷發展，網絡已經滲透到了國家的政治、經濟、軍事、文化、生活等各個領域，整個社會的運轉已經與網絡密不可分。這種對網絡的高度依賴性，使得網絡的穩定與安全成為一個需要重點關注和解決的問題。為了實現網絡的穩定與安全運行，現有技術中通常會利用網絡檢測技術來識別網絡傳輸信息的安全性、分析網絡流量異常等。例如，常用的DPI(deeppackageinspection深度報文檢測)技術，是一種面向應用層的流量分析檢測技術，可實現對網絡流量的深度檢測分析。現有技術中的DPI技術的應用場景是針對運營商、企業、校園、網吧等，將DPI軟件設置于以太網交換機或路由器中，用于流量的識別和監控處理。然而，隨著互聯網技術的不斷發展，網絡傳輸的數據量不斷增加，現有的DPI軟件受其運算性能的限制，僅能監控數據量小的以太網絡的流量，無法實現對于運營商多個骨干網絡傳輸的海量數據進行同時監控。因此，如何高效地監控運營商骨干網絡中傳輸的海量數據成為一個急待解決的問題。
技術實現思路
本申請所要解決的技術問題是：提供一種基于深度包檢測的海量數據監控方法和系統，解決高效地監控運營商骨干網絡中傳輸的海量數據的問題。為了解決上述問題，本專利技術實施例提供了一種基于深度包檢測的海量數據監控系統，所述系統設置有多個探針服務器,所述系統包括：數據采集模塊，用于按照同宿同源的規則將待監控數據分發至多個探針服務器，其中，每個所述探針服務器中設置有至少一個數據監控模塊；數據監控模塊，用于根據預設配置采集所述數據采集模塊分發的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測；緩存模塊，用于緩存所述待監控數據的識別結果和網絡傳輸信息；數據處理模塊，用于分布式存儲和分析所述識別結果和網絡傳輸信息，生成監控數據。本專利技術的一個實施例中，所述預設配置包括所述數據監控模塊的部署編號和所述探針服務器上采集所述待監控數據的網卡標識，所述數據監控模塊進一步用于，采集所述網卡標識指定的網卡接收的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測。具體實施時，本專利技術的另一實施例中，所述數據監控模塊進一步包括：流量讀取模塊，用于實時采集所述網卡標識指定的網卡接收的所述待監控數據，根據網絡層協議和傳輸層協議對所述待監控數據進行解析并封裝成待識別數據包；業務數據提取模塊，用于解析所述待識別數據包，提取所述待識別數據包中的業務數據并監測所述業務數據的網絡傳輸信息；識別模塊，用于加載業務類型識別引擎識別所述業務數據的應用類型，以及監測與所述應用類型關聯的所述業務數據的網絡傳輸信息；統計模塊，用于統計并存儲所述業務數據的網絡傳輸信息；緩存接口模塊，用于建立和緩存服務器的連接池，并根據調用從所述連接池中選擇空閑連接，將所述業務數據的識別結果和網絡傳輸信息存儲至所述緩存模塊；設定數量的工作線程，用于依次調用所述業務數據提取模塊、識別模塊、統計模塊，對所述流量讀取模塊封裝的待識別數據包進行深度包識別和網絡傳輸信息監測，再調用所述緩存接口模塊提供的接口存儲所述待監控數據的識別結果和網絡傳輸信息。優選地，所述識別模塊進一步包括：多個設置有不同調用優先級的業務類型識別引擎，所述識別模塊按照調用優先級由高到低的順序依次加載所述業務類型識別引擎識別所述業務數據的應用類型，以及監測所述應用類型關聯的所述業務數據的網絡傳輸信息。本專利技術的再一實施例中，基于前述實施例，所述緩存模塊采用鍵值對的方式緩存所述待監控數據的識別結果和網絡傳輸信息，其中，鍵值為所述待監控數據的時間戳和五元組，值為所述待監控數據的識別結果和網絡傳輸信息；所述系統進一步包括：數據轉發模塊，用于對緩存模塊緩存的所述識別結果和網絡傳輸信息進行格式轉換，并發送至所述數據處理模塊。相應地，本專利技術還公開了一種基于深度包檢測的海量數據監控方法，預設多個探針服務器，所述方法包括：按照同宿同源的規則將待監控數據分發至所述多個探針服務器；根據預設配置在每個所述探針服務器上創建多個數據監控實例；根據預設配置采集分發至當前探針服務器的所述待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測；緩存所述待監控數據的識別結果和網絡傳輸信息；分布式存儲和分析所述識別結果和網絡傳輸信息，生成監控數據。在本專利技術的一個實施例中，所述預設配置包括所述數據監控實例的部署編號和所述探針服務器上采集所述待監控數據的網卡標識，所述根據預設配置創建多個數據監控實例，進一步包括：根據所述數據監控實例的部署編號創建多個數據監控實例；所述根據預設配置采集分發至當前探針服務器的所述待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測的步驟，進一步包括，采集所述網卡標識指定的網卡接收的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測。具體實施時，本方明的另一實施例中，所述根據預設配置采集分發至當前探針服務器的所述待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測的步驟，進一步包括：實時采集所述網卡標識指定的網卡接收的待監控數據，根據網絡層協議和傳輸層協議對所述待監控數據進行解析并封裝成待識別數據包；根據預設配置創建設定數量的工作線程；啟動所述工作線程，解析封裝的所述待識別數據包，提取所述待識別數據包中的業務數據并監測所述業務數據的網絡傳輸信息；加載業務類型識別引擎識別所述業務數據的應用類型，以及監測所述應用類型關聯的所述業務數據的網絡傳輸信息；統計并存儲所述業務數據的網絡傳輸信息；再調用緩存接口從預先建立的與緩存服務器的連接池中選擇空閑連接，存儲所述業務數據的識別結果和網絡傳輸信息。優選地，所述方法還包括，預先設置多個不同調用優先級的業務類型識別引擎，所述加載業務類型識別引擎識別所述業務數據的應用類型，以及監測所述應用類型關聯的所述業務數據的網絡傳輸信息，進一步包括：按照調用優先級由高到低的順序依次加載所述業務類型識別引擎識別所述業務數據的應用類型，以及監測所述應用類型關聯的所述業務數據的網絡傳輸信息。基于前述實施例，本專利技術的又一實施例中，采用鍵值對的方式緩存所述待監控數據的識別結果和網絡傳輸信息，其中，鍵值為所述待監控數據的時間戳和五元組，值為所述待監控數據的識別結果和網絡傳輸信息；所述方法進一步包括：對緩存的所述識別結果和網絡傳輸信息進行格式轉換并轉發。本專利技術實施例通過按照同宿同源的規則將待監控的海量數據分發至多個探針服務器，然后，在每個所述探針服務器中設置有至少一個數據監控模塊；利用所述數據監控模塊根據預設配置采集所述數據采集模塊分發的待監控數據，并進行深度包識別和網絡傳輸信息監測；最后通過緩存系統發送至大數據平臺進行分析，有效地解決了現有技術中DPI技術無法實現海量數據檢測的問題，高效地實現了海量數據的監控。附圖說明為了更清楚地說明本專利技術實施例的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲本文檔來自技高網...

【技術保護點】
一種基于深度包檢測的海量數據監控系統，其特征在于，所述系統設置有多個探針服務器,所述系統包括：數據采集模塊，用于按照同宿同源的規則將待監控數據分發至多個探針服務器，其中，每個所述探針服務器中設置有至少一個數據監控模塊；數據監控模塊，用于根據預設配置采集所述數據采集模塊分發的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測；緩存模塊，用于緩存所述待監控數據的識別結果和網絡傳輸信息；數據處理模塊，用于分布式存儲和分析所述識別結果和網絡傳輸信息，生成監控數據。

【技術特征摘要】
1.一種基于深度包檢測的海量數據監控系統，其特征在于，所述系統設置有多個探針服務器,所述系統包括：數據采集模塊，用于按照同宿同源的規則將待監控數據分發至多個探針服務器，其中，每個所述探針服務器中設置有至少一個數據監控模塊；數據監控模塊，用于根據預設配置采集所述數據采集模塊分發的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測；緩存模塊，用于緩存所述待監控數據的識別結果和網絡傳輸信息；數據處理模塊，用于分布式存儲和分析所述識別結果和網絡傳輸信息，生成監控數據。2.如權利要求1所述的系統，其特征在于，所述預設配置包括所述數據監控模塊的部署編號和所述探針服務器上采集所述待監控數據的網卡標識，所述數據監控模塊進一步用于，采集所述網卡標識指定的網卡接收的待監控數據，并對所述待監控數據進行深度包識別和網絡傳輸信息監測。3.如權利要求2所述的系統，其特征在于，所述數據監控模塊進一步包括：流量讀取模塊，用于實時采集所述網卡標識指定的網卡接收的所述待監控數據，根據網絡層協議和傳輸層協議對所述待監控數據進行解析并封裝成待識別數據包；業務數據提取模塊，用于解析所述待識別數據包，提取所述待識別數據包中的業務數據并監測所述業務數據的網絡傳輸信息；識別模塊，用于加載業務類型識別引擎識別所述業務數據的應用類型，以及監測與所述應用類型關聯的所述業務數據的網絡傳輸信息；統計模塊，用于統計并存儲所述業務數據的網絡傳輸信息；緩存接口模塊，用于建立和緩存服務器的連接池，并根據調用從所述連接池中選擇空閑連接，將所述業務數據的識別結果和網絡傳輸信息存儲至所述緩存模塊；設定數量的工作線程，用于依次調用所述業務數據提取模塊、識別模塊、統計模塊，對所述流量讀取模塊封裝的待識別數據包進行深度包識別和網絡傳輸信息監測，再調用所述緩存接口模塊提供的接口存儲所述待監控數據的識別結果和網絡傳輸信息。4.如權利要求3所述的系統，其特征在于，所述識別模塊進一步包括：多個設置有不同調用優先級的業務類型識別引擎，所述識別模塊按照調用優先級由高到低的順序依次加載所述業務類型識別引擎識別所述業務數據的應用類型，以及監測所述應用類型關聯的所述業務數據的網絡傳輸信息。5.如權利要求1至4任意權利要求所述的系統，其特征在于，所述緩存模塊采用鍵值對的方式緩存所述待監控數據的識別結果和網絡傳輸信息，其中，鍵值為所述待監控數據的時間戳和五元組，值為所述待監控數據的識別結果和網絡傳輸信息；所述系統進一步包括：數據轉發模塊，用于對緩存模塊緩存的所述識別結果和網絡傳輸信息進行格式轉換，并發送至所述數據處理模塊。6....

【專利技術屬性】
技術研發人員：楊志嘉，趙雨佳，王赟，
申請(專利權)人：大唐軟件技術股份有限公司，
類型：發明
國別省市：北京,11