基于緩存機制的協議分發處理系統技術方案

本發明專利技術公開了一種基于緩存機制的協議分發處理系統，其特征在于所述系統包括協議分發服務器、業務處理服務器，其特征在于所述協議分發服務器內根據業務類型、使用的熱點頻率、數據方向、占用的數據帶寬大小、是否有分包處理構建協議分發處理路由表，根據協議分發處理路由表將業務處理任務映射到相應的業務處理服務器上處理；所述業務處理服務器在內存中進行業務處理任務的數據索引和數據更新，并根據構建的索引表定位到相應的數據內存塊位置。該系統在不同的處理層面都有備份機制保證系統在不同環節出問題都有一種自發的恢復機制，保證了系統的可用、可靠性。

【技術實現步驟摘要】
本專利技術屬于海量數據處理
，具體涉及一種基于緩存機制的協議分發處理系統。
技術介紹
目前基于GPRS/3G模式的在線監控應用越來越多，同時單一應用下，接入的設備也越來越多，隨著設備的增加，同時設備類型有可能不同，還有上下行不同的業務數據處理，若采用單一接入點的方式，對服務器和網絡的要求會很高。同時監控應用中大部分是要是實時監控設備的最新狀態，若采用傳統的數據處理方式(如先存到表中，后續再實時調用)，用戶的體驗會很差，往往覺得數據不夠及時。目前已經有一些解決辦法如中國專利申請號為201110182296提供了一種海量數 據處理方法和系統，調度模塊根據獲取的當前業務信息和預設的調度策略判斷是否調用數據倉庫操作語句(H QL),當判斷為是時，根據獲取的當前業務信息和預設的調度策略獲取調用順序，調度模塊根據調用順序向數據倉庫平臺調用H Q L，數據倉庫平臺從關系數據庫中讀取數據倉庫對應的配置信息，數據倉庫平臺根據調用順序觸發H Q L對分布式平臺存儲的數據進行運算，生成結果數據并存儲到分布式平臺。本專利技術還公開了一種海量數據處理系統。采用該海量數據處理方法和系統，能夠增強海量數據處理的靈活性。另外中國專利申請號為200610098074提供了一種流水線多進程之間基于消息隊列的海量數據傳輸方法，在計費產品業務處理流程中一條話單順序通過至少分為格式化、規整(或者稱為分揀)、排重、批價、入庫多個進程，計費方法采用單步與整體提交相結合的機制，通過配置來實現在不同環境下采用不同消息隊列類型自動分配任務，負載均衡管理，將話單分發至不相同的消息隊列，根據業務邏輯，自定義方式進行部署。采用本專利技術方法實現的計費系統海量的話單數據在進程間的傳輸，全部通過消息隊列，處理過程可以在內存里面實現，沒有系統IO的開銷，速度大大提高。采用基于消息隊列的流水線并行處理技術方案的系統處理效率明顯提高，處理速度在國內外計費廠家中名列前茅。然而目前大部分技術都是基于數據庫的實時應用，而在現實應用中對設備的監控數據一天往往就能達到40萬條記錄，對于這種海量的數據業務，若采用傳統的數據讀取，一方面需要建索引，另一方面數據的取數速度相當慢。而且終端的數據上傳協議大部分是基于TCP/UDP技術的，為了配置方便往往會指定一個接收服務器的IP地址和端口，這個服務器一方面要進行協議解析，另一方面要進行數據存儲。在數據量特別大的情況下就會照成服務擁塞。另外，目前大部分很多基于設備通信的服務沒有做到負載均衡和分發處理，性能往往比較低下，大部分的設備通信的數據處理是單線程處理，同時在緩存機制上欠缺考慮。本專利技術因此而來。
技術實現思路
本專利技術目的在于提供一種基于緩存機制的協議分發處理系統，解決了現有技術中海量數據處理時容易出現服務擁塞、性能往往比較低下等問題。為了解決現有技術中的這些問題，本專利技術提供的技術方案是一種基于緩存機制的協議分發處理系統，其特征在于所述系統包括系統資源登記、協議分發服務器、業務處理服務器，其特征在于所述協議分發服務器內根據業務類型、使用的熱點頻率、數據方向、占用的數據帶寬大小、是否有分包處理構建協議分發處理路由表，根據協議分發處理路由表將業務處理任務映射到相應的業務處理服務器上處理；所述業務處理服務器在內存中進行業務處理任務的數據索引和數據更新，并根據構建的索引表定位到相應的數據內存塊位置。優選的，所述業務處理服務器根據數據的使用頻繁程度進行判斷是否進行異步讀操作或異步寫操作，構建并異步更新關系型數據庫。優選的，當所述業務處理服務器內存緩存數據在出現異常時，按照索引的關鍵數據字段重新從關系數據庫構建內存緩存數據。 本專利技術還通過單點接入配置、負載均衡處理、協議分發處理、基于內存的數據索引和緩存機制、異步更新關系型數據庫技術來解決這些問題。本專利技術的關鍵在于本專利技術技術方案不直接操作數據庫，而是采取的內存緩存的技術存取最新的設備狀態數據，同時異步保存數據進數據庫。具體的說I)單點接入配置所有的終端設備接入系統均采用單一 IP配置，通過單一 IP配置，能夠很好的進行硬件的初始化配置。接入服務器應該部署在外網帶寬最大位置，該接入服務器主要工作就是協議分發。2)系統資源登記系統資源包括CPU資源，網絡資源，內存資源，服務器資源。系統初始化時應把所有的資源進行登記，如位置、調用的參數信息等。并結合分發路由表形成(信息幀/系統資源)的一一對應關系。3)協議分發處理設備上傳的信息幀有不同的協議。根據業務類型、使用的熱點頻率、數據方向、占用的數據帶寬大小、是否有分包處理等會做一個路由判斷，同時根據系統資源情況進行排隊處理。內部有一張協議分發處理路由表，通過路由表映射到相應的業務處理服務器上處理。4)負載均衡處理一般設備通信協議中按照28定律有20%的協議是熱點協議，也就是我們要對這20%的熱點協議進行分配更多的系統資源，提高處理性能。因此會做一個負載均衡處理。在處理負載時要記住負載分發的路徑。5)基于內存的數據索引和緩存機制內存的數據更新和數據索引能很大提高數據處理效率，系統會重新構建業務系統，把業務系統的關鍵要素和數據關系構建于內存中，同時有個數據刷新機制。保證內存中的數據始終是最新的。內存的數據建立索引表，通過索引表能夠最快定位到相應的數據內存塊位置。6)異步更新關系型數據庫異步更新數據庫包括異步讀操作和異步寫操作，這兩個步驟是分開進行的。異步讀操作是根據數據的使用頻繁程度按照策略讀入內存。異步寫操作是也是根據數據的使用性質根據策略來決定會寫的頻率。7 )緩存數據的錯誤處理內存緩存數據在出現異常時，有個錯誤處理機制，即按照索引的關鍵數據字段重新從關系數據庫構建內存，保證系統的正常運行。本專利技術技術方案中通過數據處理的協議分發處理，通過路由表來決定后續的協議轉發；通過負載均衡處理熱點協議的熱點數據，基于于內存的數據索引和緩存機制使得數據處理無IO操作時間，加快讀取速度；另外異步更新關系型數據庫，永久數據的存儲方案，·通過成熟的關系數據庫技術保證數據的可靠存儲。在保障措施上，內存數據是容易損壞的，在損壞的時候采用一種自動補救機制保證系統能不間斷運營，內存數據的緩存機制崩潰處理機制保證系統數據的可用性，完整性。相對于現有技術中的方案，本專利技術的優點是本專利技術針對通信終端設備接入系統的一種通用解決方案，通過該方案能夠有效解決設備種類多，數量多，協議多的問題。原有的架構往往只考慮單一的接入情況，對總體處理考慮不夠。因為業務數據往往是有管理性的。同時在不同的處理層面都有備份機制保證系統在不同環節出問題都有一種自發的恢復機制，保證了系統的可用、可靠性。附圖說明下面結合附圖及實施例對本專利技術作進一步描述圖I為基于緩存機制的協議分發處理系統的系統架構圖；圖2為基于緩存機制的協議分發處理系統的協議分發處理工作流程圖。具體實施例方式以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用于說明本專利技術而不限于限制本專利技術的范圍。實施例中采用的實施條件可以根據具體廠家的條件做進一步調整，未注明的實施條件通常為常規實驗中的條件。實施例如圖I所示，本實施例得到的基于緩存機制的協議分發處理系統，包括協議分發服務器、業務處理服務器，其特征在于所述協議分發服務器內根據業務類型、使用的熱點頻率、本文檔來自技高網...

【技術保護點】
一種基于緩存機制的協議分發處理系統，其特征在于所述系統包括系統資源登記處理、協議分發服務器、業務處理服務器，其特征在于所述協議分發服務器內根據業務類型、使用的熱點頻率、數據方向、占用的數據帶寬大小、是否有分包以及系統的資源使用情況處理構建協議分發處理路由表，根據協議分發處理路由表將業務處理任務映射到相應的業務處理服務器上處理；所述業務處理服務器在內存中進行業務處理任務的數據索引和數據更新，并根據構建的索引表定位到相應的數據內存塊位置。

【技術特征摘要】
1.一種基于緩存機制的協議分發處理系統，其特征在于所述系統包括系統資源登記處理、協議分發服務器、業務處理服務器，其特征在于所述協議分發服務器內根據業務類型、使用的熱點頻率、數據方向、占用的數據帶寬大小、是否有分包以及系統的資源使用情況處理構建協議分發處理路由表，根據協議分發處理路由表將業務處理任務映射到相應的業務處理服務器上處理；所述業務處理服務器在內存中進行業務處理任務的數據索引和數據更...

【專利技術屬性】
技術研發人員：謝清，
申請(專利權)人：方正國際軟件有限公司，
類型：發明
國別省市：