一種金融領域關系型數據庫高性能訪問方法技術

本發明專利技術提供了一種金融領域關系型數據庫高性能訪問方法，其包括以下步驟：S1、寫入數據；S101、應用程序計算好字段的長度，構造一條DML語句，以內存為緩存鏡像，在內存中模擬數據表，填充到數據鏡像，應用程序將構造的一條DML語句和數據鏡像發送到數據庫管理系統；S102、數據庫管理系統解析應用程序構造的一條DML語句，安全性和完整性控制，并發和事務控制，數據庫管理系統向數據庫所在的磁盤發送底層數據集；S103、計算好地址和偏移量之后，將底層數據集一次性寫入數據庫所在的磁盤；S2、讀取數據。本發明專利技術的有益效果是：有效的提高了數據庫的訪問效率。

A high performance access method for relational database in financial field

The invention provides a high performance financial domain relational database access method, which comprises the following steps: S1, S101, application writing data; calculate the length of the field, to construct a DML statement to the memory cache mirror, simulation data table in memory, filling data mirroring, application structure a DML statement and the data sent to the mirror database management system; a DML statement, S102 database management system analysis application structure, security and integrity control, concurrency and transaction control, sending data disk where the database management system to the database is set; S103, calculate the address and the offset. The underlying data set write once database where the disk read data, S2. The invention has the advantages that the access efficiency of the database is effectively improved.

【技術實現步驟摘要】
一種金融領域關系型數據庫高性能訪問方法
本專利技術涉及數據庫高性能訪問方法，尤其涉及一種金融領域關系型數據庫高性能訪問方法。
技術介紹
在金融領域對數據存儲有嚴苛的可靠性和可用性要求，且金融領域的數據是異常敏感，對訪問權限控制要求很高的，且在技術系統運維上出于數據安全性和訪問效率考慮，通常把應用程序和數據庫放在同一局域網內。當前市場上通常采用成熟的關系型數據產品，如SQLServer、Oracle等，而傳統對關系型數據庫中數據的訪問是構造DML類型的SQL語句，通過調用封裝好的數據庫API接口如JDBC、ODBC等，發送到DBMS解析和執行，得到執行結果。如圖2所示，傳統數據庫訪問方式相對靈活，也安全可靠，但即便應用程序和數據庫在同一局域網內，數據庫訪問的效率仍然低下，因為主要的工作是在DBMS完成的，瓶頸也在是DBMS，而局域網優質的網絡帶寬（應用程序和DBMS之間）卻經常處于空閑狀態，除了在查詢返回結果集較大的情況下可能占用部分上行網絡鏈路外，由于DML類型的SQL語句組成的消息包體積小，下行網絡鏈路幾乎沒有任何負載。另據反復測試驗證即便應用程序、DBMS、數據庫位于相同操作系統平臺上，應用程序以長連接方式向數據庫中的表插入數據記錄其TPS最高難以超過1500，修改表數據記錄的TPS則更低，而期間如果結合具體業務場景再附加上查詢的負載，DBMS的效率更是會持續下降?？紤]到當前證券交易領域廣泛采用量化/程序化交易方式，傳統數據庫訪問方式的性能已經不能滿足要求，從而限制了證券業務進一步的發展和規模的擴大，因此迫切需要找到能有效提高數據庫訪問效率的方法。專利
技術實現思路
為了解決現有技術中的問題，本專利技術提供了一種金融領域關系型數據庫高性能訪問方法。本專利技術提供了一種金融領域關系型數據庫高性能訪問方法，其包括以下步驟：S1、寫入數據；S101、應用程序計算好字段的長度，構造一條DML語句，以內存為緩存鏡像，在內存中模擬數據表，填充到數據鏡像，應用程序將構造的一條DML語句和數據鏡像發送到數據庫管理系統；S102、數據庫管理系統解析應用程序構造的一條DML語句，安全性和完整性控制，并發和事務控制，數據庫管理系統向數據庫所在的磁盤發送底層數據集；S103、計算好地址和偏移量之后，將底層數據集一次性寫入數據庫所在的磁盤；S2、讀取數據；S201、應用程序構造一條DML查詢語句并發送給數據庫管理系統，在內存中模擬數據表，提供數據鏡像填充地址；S202、數據庫管理系統解析應用程序所發送的一條DML查詢語句，安全性和完整性控制，并發和事務控制，一次性讀取數據庫所在的磁盤，獲取底層數據集后填充數據鏡像；S203、數據庫管理系統向應用程序發送數據鏡像。作為本專利技術的進一步改進，在Windows下換用原生ODBC連接數據庫。作為本專利技術的進一步改進，數據的檢查和轉換在內存中處理完成之后再提交到數據庫管理系統。本專利技術的有益效果是：通過上述方案，有效的提高了數據庫的訪問效率。附圖說明圖1是本專利技術一種金融領域關系型數據庫高性能訪問方法的訪問示意圖。圖2是現有技術中傳統數據庫的訪問示意圖。具體實施方式下面結合附圖說明及具體實施方式對本專利技術進一步說明。如圖1所示，一種金融領域關系型數據庫高性能訪問方法，其包括以下步驟：S1、寫入數據；S101、應用程序計算好字段的長度，構造一條DML語句，以內存為緩存鏡像，在內存中模擬數據表，填充到數據鏡像，應用程序將構造的一條DML語句和數據鏡像發送到數據庫管理系統；S102、數據庫管理系統（DBMS）解析應用程序構造的一條DML語句，安全性和完整性控制，并發和事務控制，數據庫管理系統向數據庫所在的磁盤發送底層數據集；S103、計算好地址和偏移量之后，將底層數據集一次性寫入數據庫所在的磁盤；S2、讀取數據；S201、應用程序構造一條DML查詢語句并發送給數據庫管理系統，在內存中模擬數據表，提供數據鏡像填充地址；S202、數據庫管理系統解析應用程序所發送的一條DML查詢語句，安全性和完整性控制，并發和事務控制，一次性讀取數據庫所在的磁盤，獲取底層數據集后填充數據鏡像；S203、數據庫管理系統向應用程序發送數據鏡像。本專利技術提供的一種金融領域關系型數據庫高性能訪問方法，在Windows下換用更有效率的原生ODBC(開放數據庫連接)連接數據庫，因為封裝過的數據庫API往往更通用但效率更低；由于在計算機內存里處理數據遠比DBMS解析數據要快，盡量把數據檢查和轉換在內存中處理完成后再提交到DBMS，鑒于證券交易領域的特殊性，券商端系統對交易所接口處理只有插入和讀取，沒有修改和刪除操作的特點，計算好字段的長度，以內存為緩存鏡像完全把數據表模擬出來，計算好地址和偏移量再一次性更新到數據庫所在磁盤上；將數據處理完成后再提交DBMS，與之前的提交DML操作語句相比，涉及較大數據量的網絡傳輸，但剛好可以利用長期處于空閑狀態的局域網優質網絡帶寬，特別是下行鏈路帶寬，在內存中完成數據處理且在高速網絡上傳輸數據的處理時延兩者累加，而吞吐量取小，最終得到的這兩個指標值都比提交語句到DBMS處理要好上超過一個數量級；對數據庫查詢操作對上行鏈路帶寬本來也有占用，但這里不再使用數據庫API定義的數據集，而是通過綁定數據庫對應表上的字段類型，在內存中為其預先開辟空間，簡化了DBMS構造數據集的工作，且相當于通過網絡通信將數據拷貝到應用程序內存數據結構，也方便了應用程序后續的處理；這種方式讓DBMS；考慮到批量處理完畢數據再一次性提交比單條處理完畢后單條提交有更好的性能，實現按線程處理所分配時間實現多線程批量提交。本專利技術提供的一種金融領域關系型數據庫高性能訪問方法，經相同的環境下實驗，該訪問方式比傳統關系型數據庫訪問在性能方面能提高十倍?？紤]DBMS是瓶頸，充分利用空閑的優質網絡帶寬，且SQL語句在DBMS只解析一次。即便原先是批量提交SQL語句，也是一條條在DBMS中執行的，本方法為批量提交數據。事先構造內存參數集作為數據表映射。對于插入操作，計算數據集空間，取參數集第一條記錄精確綁定對應的所有參數/列類型和長度，整備好數據，盡可能接近內存拷貝的效果；對于查詢操作，根據數據表各列的數據類型和長度預留數據集空間，查詢結果將以內存數據集的形式返回，即反向的內存拷貝。本專利技術提供的一種金融領域關系型數據庫高性能訪問方法，適合金融領域量化交易/程序化交易等對訪問關系型數據庫有高性能、高可用、高可靠需求應用場景，本專利技術對所運行的操作系統平臺沒有要求，但建議盡量使用原生態的ODBC，并將應用程序與所要操作的數據庫部署于同一操作系統或位于局域網內能達到更佳效果。以上內容是結合具體的優選實施方式對本專利技術所作的進一步詳細說明，不能認定本專利技術的具體實施只局限于這些說明。對于本專利技術所屬
的普通技術人員來說，在不脫離本專利技術構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本專利技術的保護范圍。本文檔來自技高網...

【技術保護點】
一種金融領域關系型數據庫高性能訪問方法，其特征在于，包括以下步驟：S1、寫入數據；S101、應用程序計算好字段的長度，構造一條DML語句，以內存為緩存鏡像，在內存中模擬數據表，填充到數據鏡像，應用程序將構造的一條DML語句和數據鏡像發送到數據庫管理系統；S102、數據庫管理系統解析應用程序構造的一條DML語句，安全性和完整性控制，并發和事務控制，數據庫管理系統向數據庫所在的磁盤發送底層數據集；S103、計算好地址和偏移量之后，將底層數據集一次性寫入數據庫所在的磁盤；S2、讀取數據；S201、應用程序構造一條DML查詢語句并發送給數據庫管理系統，在內存中模擬數據表，提供數據鏡像填充地址；S202、數據庫管理系統解析應用程序所發送的一條DML查詢語句，安全性和完整性控制，并發和事務控制，一次性讀取數據庫所在的磁盤，獲取底層數據集后填充數據鏡像；S203、數據庫管理系統向應用程序發送數據鏡像。

【技術特征摘要】
1.一種金融領域關系型數據庫高性能訪問方法，其特征在于，包括以下步驟：S1、寫入數據；S101、應用程序計算好字段的長度，構造一條DML語句，以內存為緩存鏡像，在內存中模擬數據表，填充到數據鏡像，應用程序將構造的一條DML語句和數據鏡像發送到數據庫管理系統；S102、數據庫管理系統解析應用程序構造的一條DML語句，安全性和完整性控制，并發和事務控制，數據庫管理系統向數據庫所在的磁盤發送底層數據集；S103、計算好地址和偏移量之后，將底層數據集一次性寫入數據庫所在的磁盤；S2、讀取數據；S201、應用程序構造一條DML查詢...

【專利技術屬性】
技術研發人員：馬宗萼，唐興余，
申請(專利權)人：深圳證券通信有限公司，
類型：發明
國別省市：廣東,44