一種分布式流量采集系統和邊緣計算方法技術方案

本發明專利技術屬于大數據云計算技術領域，公開了一種分布式流量采集系統和邊緣計算方法。首先，規劃分布式數據采集系統的節點，劃分出采集節點、邊緣節點和云中心節點，并依據設備的硬件性能分別安裝Apache MiNiFi或Apache NiFi；其次，在采集節點、邊緣節點和云中心節點上配置流模板，連接前后節點，完成數據采集、數據傳輸、邊緣計算等功能，并將所有節點組織成以云中心為根的多級樹狀結構。本發明專利技術借鑒物聯網應用場景中的邊緣計算模式，在盡可能靠近數據源的地方，部署機器學習模型對數據進行分布式的并行處理，提高資源利用率和數據處理效率。

A distributed traffic collection system and edge calculation method

【技術實現步驟摘要】
一種分布式流量采集系統和邊緣計算方法
本專利技術屬于大數據云計算(邊緣計算)
，尤其涉及一種分布式流量采集系統和邊緣計算方法。
技術介紹
目前，許多物聯網(IoT)應用如智能家居、可穿戴設備、車聯網等，已在本專利技術的日常生活中得到了廣泛應用。物聯網的迅猛發展使得一切事物都能互聯互通，為本專利技術的學習、工作和生活提供了極大的便利。在物聯網場景中，采用了大量的傳感器設備，以便能夠感知環境、監測變化從而做出相應的動作。由于這些智能設備的計算能力和存儲容量有限，其本身的性能不足以有效處理這些傳感器數據，也不能執行更復雜的處理動作，因此，一種更好的解決方案是采用云計算的方法，僅僅將這些智能設備看作是簡單的數據生成器，將傳感器數據直接傳送到云服務器中進行存儲和計算的卸載。然而，根據目前的趨勢預測，思科指出到2020年將有500億臺設備連接到互聯網，思科全球云指數預測，到2020年由物、人、機產生的數據將超過500ZB，但此時全球數據中心的IP流量只會達到10.4ZB。此外，思科CEO預測到2025年將有大約5000億個用戶設備加入互聯網。因此，處理快速增長的數據量以便減輕網絡的沉重負擔成為一個亟需解決的問題。同時，在越來越多的新場景中，如視頻分析、自動駕駛等應用，需要物聯網支持實時響應、位置感知、低延遲處理等功能，但由于云計算的集中化特性，且遠離用戶設備，加上數據在網絡傳輸過程中由于帶寬瓶頸產生的高延遲，使得云計算無法滿足這些需求。為了解決這些問題，人們引入了邊緣計算。在盡可能靠近數據源的機器上進行分布式的數據并行處理和分析，來實現更高的執行速度和更短的響應時間，將發送到服務器的數據量縮減到最少，這樣可以提高數據傳送鏈路上機器性能的利用率，提高整體的執行效率，大大提高了物聯網的成功率。相似的，在基于大數據的校園網絡流量安全分析應用場景中，在校園內部署多個采集點來進行網絡原始數據包的捕獲和預處理。這些采集節點可以是一個用來監聽無線流量的樹莓派，也可以是接入骨干接點的鏡像服務器。對于小型化的樹莓派節點來說，其本身的計算和存儲能力不足以支持大量的數據處理，總是需要將計算卸載到云中心；而對于骨干網上的鏡像服務器來說，瞬時流量可能高達3-4Gbps，將這些流量全部傳送到云中心進行處理，不僅會占用大量的網絡帶寬，也會使得云中心產生數據堆積，從而導致較高的數據處理延遲和響應時間，不能迅速得到處理結果。綜上所述，現有技術存在的問題是：(1)現有技術在流量數據傳輸過程中會占用大量的網絡帶寬，導致網絡擁塞，產生較高的延遲。(2)現有技術大多使用云計算，海量數據上傳會使云中心的數據堆積，導致較高的數據處理延遲和響應時間，不能迅速得到處理結果，造成處理效率低下，且計算、存儲成本高。(3)現有技術會將數據輸到云端，重要的敏感信息會經過網絡傳輸，可能造成傳輸過程中的隱私泄漏。(4)，現有技術對云中心依賴嚴重，數據傳輸在互聯網連接受限的地區不能穩定地離線運行。解決上述技術問題的難度：目前邊緣計算的架構仍缺乏清晰、統一的定義，無論是工業領域還是消費領域，都存在眾多細分市場，需求差異巨大，這導致邊緣計算方案的多樣性。因此，本專利技術需要在校園網絡環境中，針對基于大數據的網絡流量安全分析應用場景進行定制，依據眾多廠家邊緣計算產品的共性，抽象出邊緣計算框架，并根據自身功能需求進行細化，包括數據采集、傳輸、邊緣計算、結果反饋等自動化的基礎功能，以及云中心的遠程監控、管理等高級功能。解決上述技術問題的意義：本專利技術借鑒物聯網應用場景中的邊緣計算模式，在盡可能靠近數據源的機器上進行分布式的數據并行處理和分析，實現更高的執行速度和更短的響應時間，將發送到服務器的數據量縮減到最少，這樣可以提高數據傳送鏈路上機器性能的利用率，提高整體的執行效率。
技術實現思路
針對現有技術存在的問題，本專利技術提供了一種分布式流量采集系統和邊緣計算方法。本專利技術是這樣實現的，一種分布式流量采集系統，所述分布式流量采集系統包括：采集節點，與邊緣節點連接，用于根據需求執行多種類型數據的采集，從同一個網卡接口中獲取原始網絡數據，通過不同的采集設備將流量解析為多種格式并輸出至指定的下一層端口；邊緣節點或集群，前后分別與采集節點、云中心節點連接，用于接收采集節點傳輸進來的數據，根據規則引擎或負載策略有選擇的進行邊緣計算。云中心集群，首先負責匯總下層所有節點產生的所有數據，根據應用名稱、數據類型等屬性，將數據分別進行存儲或后續處理；每個節點都會將該節點的狀態日志等信息上傳到云中心，用于繪制節點拓撲圖。進一步，所述采集節點在向下一層進行傳輸前，對每一個數據文件進行標記，標記的屬性信息包括數據自來自哪個節點、哪個應用、什么數據類型。進一步，所述邊緣節點還用于自定義要執行的邊緣計算內容，并將處理結果傳送至下一層。進一步，所述邊緣節點還用于將不需要進行邊緣計算的或非時間關鍵性的數據，直接卸載到在云中心進行后續的處理。進一步，所述云中心節點的輸入端口與邊緣節點的輸入端口相同。本專利技術的另一目的在于提供一種分布式流量采集系統的邊緣計算方法包括以下步驟：步驟一，規劃分布式數據采集系統的節點，劃分出采集節點、邊緣節點和云中心節點，并依據設備的硬件性能分別安裝ApacheMiNiFi或ApacheNiFi；步驟二，在采集節點、邊緣節點和云中心節點上配置流模板，連接前后節點，完成數據采集、數據傳輸、邊緣計算，并將所有節點組織成以云中心為根的樹狀結構。進一步，步驟一中，將ApacheMiNiFi安裝在樹莓派硬件資源上僅作為采集節點，將ApacheNiFi安裝在主機或服務器上作為邊緣節點或者云中心節點；ApacheNiFi或安裝在采集節點中，負責大流量的采集和解析；可以依據某節點處理數據量的大小進行水平擴展，構成NiFi集群。進一步，所述分布式流量采集系統的邊緣計算方法進一步包括：第一步，在采集節點上，部署數據采集的MiNiFi模板后，進行：1.1)通過ExecuteProcess處理器調用采集工具，源源不斷從網卡捕獲數據包，并生成指定類型的文件存放在本地文件系統路徑中；1.2)通過GetFile處理器根據配置的正則表達式，在指定目錄中獲取文件名匹配的數據文件；該文件已轉化成NiFi系統中的FlowFile，GetFile處理器自動刪除本地文件以節省存儲空間；1.3)使用UpdateAttribute處理器為該流文件增添屬性，以便后續根據屬性進行拆分或路由；1.4)通過RemoteProcessGroup，將數據發送到邊緣節點上NiFi開放的指定的輸入端口，同時開啟該端口的傳輸壓縮選項，以便減小數據體積、減少帶寬占用；第二步，在邊緣節點上，部署邊緣計算的NiFi模板，進行：2.1)從命名為DataPath的輸入端口傳入采集節點生成的數據；2.2)隨后經過RouteOnAttribute處理器進行路由，根據采集節點設定的流本文檔來自技高網...

【技術保護點】
1.一種分布式流量采集系統，其特征在于，所述分布式流量采集系統包括：/n采集節點，與邊緣節點連接，用于根據需求執行多種類型數據的采集，從同一個網卡接口中獲取原始網絡數據，通過不同的采集設備將流量解析為多種格式并輸出至指定的下一層端口；/n邊緣節點或集群，前后分別與采集節點、云中心節點連接，用于接收采集節點傳輸進來的數據，根據規則引擎或負載策略有選擇的進行邊緣計算；/n云中心集群，首先負責匯總下層所有節點產生的所有數據，根據應用名稱、數據類型等屬性，將數據分別進行存儲或后續處理；每個節點都會將該節點的狀態日志等信息上傳到云中心，用于繪制節點拓撲圖。/n

【技術特征摘要】
1.一種分布式流量采集系統，其特征在于，所述分布式流量采集系統包括：
采集節點，與邊緣節點連接，用于根據需求執行多種類型數據的采集，從同一個網卡接口中獲取原始網絡數據，通過不同的采集設備將流量解析為多種格式并輸出至指定的下一層端口；
邊緣節點或集群，前后分別與采集節點、云中心節點連接，用于接收采集節點傳輸進來的數據，根據規則引擎或負載策略有選擇的進行邊緣計算；
云中心集群，首先負責匯總下層所有節點產生的所有數據，根據應用名稱、數據類型等屬性，將數據分別進行存儲或后續處理；每個節點都會將該節點的狀態日志等信息上傳到云中心，用于繪制節點拓撲圖。


2.如權利要求1所述的分布式流量采集系統，其特征在于，所述采集節點在向下一層進行傳輸前，對每一個數據文件進行標記，標記的屬性信息包括數據自來自哪個節點、哪個應用、什么數據類型。


3.如權利要求1所述的分布式流量采集系統，其特征在于，所述邊緣節點還用于自定義要執行的邊緣計算內容，并將處理結果傳送至下一層。


4.如權利要求1所述的分布式流量采集系統，其特征在于，所述邊緣節點還用于將不需要進行邊緣計算的或非時間關鍵性的數據，直接卸載到在云中心進行后續的處理。


5.如權利要求1所述的分布式流量采集系統，其特征在于，所述云中心節點的輸入端口與邊緣節點的輸入端口相同。


6.一種如權利要求1所述分布式流量采集系統的邊緣計算方法，其特征在于，所述分布式流量采集系統的邊緣計算方法包括以下步驟：
步驟一，規劃分布式數據采集系統的節點，劃分出采集節點、邊緣節點和云中心節點，并依據設備的硬件性能分別安裝ApacheMiNiFi或ApacheNiFi；
步驟二，在采集節點、邊緣節點和云中心節點上配置流模板，連接前后節點，完成數據采集、數據傳輸、邊緣計算，并將所有節點組織成以云中心為根的樹狀結構。


7.如權利要求6所述的分布式流量采集系統的邊緣計算方法，其特征在于，
步驟一中，將ApacheMiNiFi安裝在樹莓派硬件資源上僅作為采集節點，將ApacheNiFi安裝在主機或服務器上作為邊緣節點或者云中心節點；ApacheNiF...

【專利技術屬性】
技術研發人員：蘇銳丹，孫昊，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：陜西;61