緊湊式XML解析系統技術方案

本發明專利技術提供緊湊式XML解析系統，有效解決了數據冗余和系統資源利用率低的問題；其方案是，包括輸入流控制器、輸出流控制器、解析器、編碼器、元素管理器和屬性管理器，所述的輸入流控制器管理外部XML文檔數據的讀取、通過CRC校驗碼驗證文檔數據有效性和XML系統的輸入緩存區的內存管理，保證流入XML解析系統的XML文檔數據流為合法、有效、完整的數據信息；本發明專利技術已在公司服務器及客戶端計算機系統中應用，服務器端通過二進制流的壓縮存儲協議對海量數據業務數據進行壓縮后傳輸到客戶端，有效節省了傳輸數據量，很好地滿足了業務需求。

【技術實現步驟摘要】

本專利技術涉及海量數據的格式化文件存儲及系統間的海量數據交互
，特別是緊湊式XML解析系統。
技術介紹
XML是一種良好的數據描述語言，具有強大的數據描述能力，同時具備自描述的特征，使得人和機器都能夠閱讀XML文檔，XML本身的技術特性以及其相關技術的標準化，使其具備著廣泛的應用場景。XML是不同系統之間數據交換的通用格式，以XML為接口的自動化系統具有良好的交互性和擴展性，但是，XML技術本身也很復雜，處理XML將給系統增加相當的工作負荷，XML的冗雜也增加了系統之間的網絡開銷，因此，XML技術在異常繁榮的同時，也備受詬病，尤其是資源受限和高性能要求的系統無法承受XML的復雜性和數據冗雜O在資源受限的系統中，由于網絡帶寬和存儲空間的限制，人們在使用XML作為數據傳輸和存儲的格式時，為了有效降低數據冗余，提升系統資源利用率，就引入了 XML壓縮技術，Binary XML是XML數據緊湊的二進制表示形式，顯著地降低了 XML數據的冗余性，但Binary XML目前存在多種規范，還沒有一種廣泛使用的，贏得普通共識的標準。為了在系統中有效地應用Binary XML技術，就必須結合Binary XML技術協議，并依據這個技術協議，提供一套完整的Binary XML解析與解碼系統，緊湊式XML解析系統應運而生。
技術實現思路
針對上述情況，為克服現有技術之缺陷，本專利技術之目的在于提供緊湊式XML解析系統，有效解決了數據冗余和系統資源利用率低的問題。其解決的技術方案是，包括輸入流控制器、輸出流控制器、解析器、編碼器、元素管理器和屬性管理器，所述的輸入流控制器管理外部XML文檔數據的讀取、通過CRC校驗碼驗證文檔數據有效性和XML系統的輸入緩存區的內存管理，保證流入XML解析系統的XML文檔數據流為合法、有效、完整的數據信息； 所述解析器對輸入流控制器導入的XML數據流依據二進制流的壓縮存儲協議規則進行反序化操作，解析器采用二叉樹與棧結合的數據結構，將XML數據流解析為具體的XML實體； 所述的元素管理器提供對XML元素結點查詢、添加、刪除和修改的功能，第三方系統可通過元素管理器方便地實現對XML元素結點的管理； 所述的屬性管理器提供對XML屬性的查詢、添加、刪除和修改功能，第三方系統可通過屬性管理器方便地實現對XML屬性結點的管理，同時提供屬性值的自定義功能，即私有擴展；所述編碼器將XML元素和屬性結點依據二進制流的壓縮存儲協議規則及數據結構進行序列化操作，并將序列化結果導出到輸出流控制器； 輸出流控制器負責將系統內部的壓縮XML文檔數據流輸出到XML解析系統外部緩沖區，并提供XML文檔數據流的持久化機制。本專利技術基于二進制流的壓縮存儲協議，對XML文檔提供壓縮存儲和解析功能，使用string Id代替字符串文本，有效減少了數據冗余；預知前置的文本數據長度，提高了處理效率；采用UTF-8字符編碼，簡化了 XML數據表述的復雜性；采用數值的變長編碼，有效地節省了存儲空間；XML解析系統還具有私有擴展性，達到了滿足特殊業務的需求；本專利技術已在公司服務器及客戶端計算機系統中應用，服務器端通過二進制流的壓縮存儲協議對海量數據業務數據進行壓縮后傳輸到客戶端，有效節省了傳輸數據量，很好地滿足了業務需求。【附圖說明】圖1為本專利技術的緊湊式XML解析系統結構圖。圖2為本專利技術的標簽分類、每類標簽的數值及其每類標簽對應的ASCII碼的關系對應表。 圖3為本專利技術的一個完整XML文檔內容的頭部的組成部分。【具體實施方式】以下結合附圖，對本專利技術的【具體實施方式】作進一步詳細說明。 現結合圖1和圖2所示，本專利技術緊湊式XML解析系統，包括輸入流控制器、輸出流控制器、解析器、編碼器、元素管理器和屬性管理器，所述的輸入流控制器管理外部XML文檔數據的讀取、通過CRC校驗碼驗證文檔數據有效性和XML系統的輸入緩存區的內存管理，保證流入XML解析系統的XML文檔數據流為合法、有效、完整的數據信息； 所述解析器對輸入流控制器導入的XML數據流依據二進制流的壓縮存儲協議規則進行反序化操作，解析器采用二叉樹與棧結合的數據結構，將XML數據流解析為具體的XML實體； 所述的元素管理器提供對XML元素結點查詢、添加、刪除和修改的功能，第三方系統可通過元素管理器方便地實現對XML元素結點的管理； 所述的屬性管理器提供對XML屬性的查詢、添加、刪除和修改功能，第三方系統可通過屬性管理器方便地實現對XML屬性結點的管理，同時提供屬性值的自定義功能，即私有擴展； 所述編碼器將XML元素和屬性結點依據二進制流的壓縮存儲協議規則及數據結構進行序列化操作，并將序列化結果導出到輸出流控制器； 輸出流控制器負責將系統內部的壓縮XML文檔數據流輸出到XML解析系統外部緩沖區，并提供XML文檔數據流的持久化機制。二進制流的壓縮存儲協議是XML數據緊湊的二進制表示形式，顯著地降低了 XML數據的冗余性，使得XML數據的解析也變得容易很多，減輕了處理XML數據的系統的運算工作，降低了 XML數據傳輸時所占的帶寬。二進制流的壓縮存儲協議描述，一個完整的XML文檔內容包括頭部和主體，頭部包括魔數、頭部長度、版本號和編碼控制信息，主體由一串標簽單元構成，標簽“Z”是整個文檔的結束標志，如圖3所示。協議規范中定義了六類標簽，分別為文檔標簽、聲明標簽、元素標簽、屬性標簽、文本標簽和自定義標簽，所述六類標簽、每類標簽對應的數值和每類標簽對應的ASCII碼的 關系對應表，如圖2所不。本專利技術在實施時，文檔內容標簽化，即相對獨立的XML文檔內容，例如文檔元素、文檔屬性，均由一個標簽單元來表示，也就是元素標簽、文檔標簽，一般地，標簽單元包括標簽本身、數據長度和數據值，即TLV ; 使用string Id代替字符串文本，即把在XML文檔中重復出現的元素和屬性名稱字符串，以一個數值Id進行替換，可以有效減少數據冗余； 預知前置的文本數據長度，即文本數據的長度信息總是出現在文本之前，這樣可以提前預知需要處理的數據有多大，需要分配多少存儲空間，可以作整體拷貝，從而提高了處理效率； 使用UTF-8字符編碼，即所有非數值字符都使用UTF-8編碼，避免了 XML數據在不同系統間發送和接收時，可能發生的代碼頁轉換，從而簡化了 XML數據表示的復雜性； 采用大端字節序，即多字節的字符和數值都采用大端字節序的編碼方式，更適合網絡傳輸，消除了不必要的網絡字節序變換，降低了數據通訊的潛在復雜性； 數值的變長編碼，即對于取值范圍很大的數值和取值范圍很小的數值，都采用變長編碼的方式來表示，有效地節省了存儲空間； 私有擴展性，即用戶可以定義私有的標簽，擴展了 XML信息的表述能力，以達到滿足特殊業務的需求。本專利技術基于二進制流的壓縮存儲協議，對XML文檔提供壓縮存儲和解析功能、從原始XML文檔到壓縮式XML文檔的轉換功能和從壓縮式XML文檔到二叉樹與棧結合的數據結構解析功能，并對文檔內容標簽化，使用編號代替重復的字符串信息，同時提供自定義屬性值的私有擴展，達到了特殊業務的需求。本專利技術已在公司服務器及客戶端計算機系統中應用，服務器端通過二進制流的壓縮存儲協議對海量數據業務數據進行壓縮后傳本文檔來自技高網...

【技術保護點】
緊湊式XML解析系統，包括輸入流控制器、輸出流控制器、解析器、編碼器、元素管理器和屬性管理器，其特征在于，所述的輸入流控制器管理外部XML文檔數據的讀取、通過CRC校驗碼驗證文檔數據有效性和XML系統的輸入緩存區的內存管理，保證流入XML解析系統的XML文檔數據流為合法、有效、完整的數據信息；所述解析器對輸入流控制器導入的XML數據流依據二進制流的壓縮存儲協議規則進行反序化操作，解析器采用二叉樹與棧結合的數據結構，將XML數據流解析為具體的XML實體；所述的元素管理器提供對XML元素結點查詢、添加、刪除和修改的功能，第三方系統可通過元素管理器方便地實現對XML元素結點的管理；所述的屬性管理器提供對XML屬性的查詢、添加、刪除和修改功能，第三方系統可通過屬性管理器方便地實現對XML屬性結點的管理，同時提供屬性值的自定義功能，即私有擴展；所述編碼器將XML元素和屬性結點依據二進制流的壓縮存儲協議規則及數據結構進行序列化操作，并將序列化結果導出到輸出流控制器；輸出流控制器負責將系統內部的壓縮XML文檔數據流輸出到XML解析系統外部緩沖區，并提供XML文檔數據流的持久化機制。

【技術特征摘要】

【專利技術屬性】
技術研發人員：趙全奇，高峰，
申請(專利權)人：河南藍信科技股份有限公司，
類型：發明
國別省市：河南;41