基于光盤的數據庫的數據外部存儲系統及數據存儲方法技術方案

基于光盤的數據庫的數據外部存儲系統，包括服務器，與服務器數據連接的磁盤、光盤存儲裝置，服務器上設置數據庫管理系統，外部存儲管理系統，應用程序接口，擴展服務器，磁盤存儲裝置上設置磁盤數據庫，數據庫外部存儲區，數據庫中記錄的部分字段數據對應存儲在數據庫外部存儲區中，其中：數據庫管理系統響應數據請求，完成存儲裝置中數據庫管理和數據管理；外部存儲管理系統響應數據請求，完成存儲裝置中數據庫外部存儲區管理和數據管理；應用程序接口用于獲取數據庫外部存儲數據的信息，完成存儲裝置的數據庫外部存儲；擴展服務器用于建立數據庫外部存儲區，確定數據庫外部存儲數據在外部存儲區中的位置。有利于提高數據庫性能和數據可靠性。

【技術實現步驟摘要】
基于光盤的數據庫的數據外部存儲系統及數據存儲方法
本專利技術涉及一種數據存儲系統及數據存儲方法，特別是涉及一種數據庫的數據外部存儲系統及數據存儲方法。
技術介紹
隨著互聯網和信息技術的發展，數據呈幾何級數增長。隨處可見越積越多的各種格式的數據和電子文擋，信息社會跨入大數據時代。要充分利用大數據，首先是要長期保存大數據，其次是以有效且快捷的方式從大數據中找到所需要的信息。保存、查找和利用大數據，涉及數據結構、數據格式、數據庫、存儲介質。數據包括結構化數據、半結構化數據和非結構化數據；數據格式成千上萬種；數據庫有關系型數據庫和非結構化數據庫；存儲介質有磁(磁盤、磁帶)、光(光盤)、電(固態硬盤、U盤等)。對于需要長期保存的數據，均不適于采用磁存儲和電存儲保存。光盤可長期保存數據，存儲量大、節能、環保、費用低、安全性高，但面臨的問題是如何有效利用保存在光盤上的數據，也就是如何對光盤上的數據和文件內容進行全文檢索；另一個問題是，盡管藍光光盤的容量已達到25GB-100GB，但與磁存儲和電存儲的存儲容量相比，仍有很大的差距，因此，需要用大量的光盤分散保存磁存儲介質和電存儲介質上的數據。管理大量的光盤需要專門的光盤存儲裝置。光盤存儲裝置主要有兩種，用于近線存儲的光盤庫和用于離線存儲的離線光盤柜。在現有技術中，能夠對在線存儲的數據和文件內容進行全文檢索，但難于對近線存儲和離線存儲的數據和文件內容進行全文檢索。在申請號為CN201210431169.3，專利技術名稱為“基于光盤的數據庫存儲系統及利用該系統的方法”的專利申請中，提供了一種利用數據庫管理系統將磁盤存儲器中數據庫以原始數據庫格式拆分到光盤的技術方案。包括安裝在服務器上的數據庫管理系統，與服務器數據連接的磁盤存儲裝置和光盤存儲裝置，以及建立在磁盤存儲裝置上的磁盤數據庫，數據庫管理系統包括字段結構生成模塊，記錄索引生成模塊，存儲空間分配模塊，存儲空間狀態模塊，記錄鏈接模塊，記錄拆分模塊，光盤建庫模塊，庫結構生成模塊，記錄合并模塊。在申請號為CN201310136328.1，專利技術名稱為“基于光盤庫的數據庫存儲系統及利用該系統的方法”的專利申請中，提供了一種將數據庫直接建立在光盤上的技術方案，將全文索引數據單獨存放在磁盤存儲器或光盤上，對光盤庫中光盤上的數據庫進行全文檢索達到秒級，調取光盤上的數據庫文件中的原文件達到秒級，使光盤庫中光盤上的數據庫響應性能接近磁盤在線存儲，有效解決了管理和訪問大規模數據庫光盤的技術問題。包括服務器、光盤庫和磁盤存儲器，所述服務器與所述光盤庫和所述磁盤存儲器間建立數據連接，所述服務器上的操作系統中安裝有數據庫管理系統和光盤庫管理系統，所述數據庫管理系統中包括字段結構生成模塊，記錄索引生成模塊，存儲空間分配模塊，存儲空間狀態模塊，記錄鏈接模塊，記錄拆分模塊，光盤建庫與錄入模塊，檢索詞存儲模塊，檢索詞索引生成模塊，庫結構生成模塊。以上這兩種技術方案都是基于將各種格式的數據全部裝入數據庫，在保證數據庫數據完整性的前提下，才能將數據庫建立在光盤上。這兩種方案都有局限性。在不能將全部數據裝入數據庫的情況下，不能采用上述兩種方案。
技術實現思路
本專利技術的目的是提供一種基于光盤的數據庫的數據外部存儲方法，解決數據記錄中全部字段數據必須全部寫入數據庫文件才能完成庫文件數據記錄的技術問題。本專利技術的另一個目的是提供一種基于光盤的數據庫的數據外部存儲系統，解決數據記錄中部分字段數據與數據庫文件分離存儲時無法同步操作的技術問題。本專利技術基于光盤的數據庫的數據外部存儲系統，包括服務器，與服務器數據連接的磁盤存儲裝置和光盤存儲裝置，所述服務器上設置數據庫管理系統，外部存儲管理系統，應用程序接口，擴展服務器，磁盤存儲裝置和光盤存儲裝置上分別設置對應的數據庫和數據庫外部存儲區，數據庫中記錄的部分字段數據對應存儲在數據庫外部存儲區中，其中：數據庫管理系統用于響應數據請求，完成存儲裝置中數據庫管理和數據管理；外部存儲管理系統用于響應數據請求，完成存儲裝置中數據庫外部存儲區管理和數據管理；應用程序接口用于獲取數據庫外部存儲數據的信息，完成存儲裝置的數據庫外部存儲；擴展服務器用于建立數據庫外部存儲區，確定數據庫外部存儲數據在外部存儲區中的位置。所述數據庫管理系統包括字段結構生成模塊，記錄索引生成模塊，存儲空間分配模塊，存儲空間狀態模塊，記錄鏈接模塊，記錄拆分模塊，光盤建庫與錄入模塊，庫結構生成模塊，記錄合并模塊，外部存儲結構生成模塊，其中：字段結構生成模塊，讀取數據庫中每一條記錄的字段結構信息，包括記錄中各字段的數據類型、長度，并寫入數據庫文件或數據庫管理系統中；記錄索引生成模塊，記錄數據庫中每一條記錄的索引信息，包括記錄中各字段的修改時間、修改內容，并寫入數據庫文件或數據庫管理系統中；存儲空間分配模塊，記錄為每一條記錄所分配的標準存儲單元在數據庫文件中的位置信息，并寫入數據庫文件或數據庫管理系統中；存儲空間狀態模塊，記錄數據庫文件中已分配標準存儲單元中未使用的空間信息，并寫入數據庫文件或數據庫管理系統中；記錄鏈接模塊，將數據庫中各記錄的字段結構信息、索引信息、標準存儲單元的位置信息和空間信息合并，形成數據庫特征數據，并寫入數據庫文件或數據庫管理系統中；記錄拆分模塊，根據數據庫管理系統指令進行數據庫中記錄拆分，數據拆分以記錄為單位進行，讀取數據庫特征數據，確定記錄中每個字段的數據位置和數據量，標記出符合指令參數的記錄，并將標記信息寫入數據庫文件或數據庫管理系統中；光盤建庫與錄入模塊，用于在光盤上建立數據庫文件，并將數據直接錄入到光盤上的數據庫，并通過數據庫管理系統生成對應記錄的字段結構信息、索引信息，記錄標準存儲單元位置信息和空間信息，形成光盤上的數據庫特征數據。庫結構生成模塊，將數據庫的庫結構形成獨立數據；數據庫管理系統根據獨立數據在光盤上建立相同庫結構的子數據庫。記錄合并模塊，根據數據庫管理系統指令，將光盤上子數據庫中的記錄合并到磁盤存儲裝置上的磁盤數據庫中，并通過數據庫管理系統生成對應記錄的字段結構信息、索引信息，以及記錄標準存儲單元位置信息和空間信息，形成磁盤數據庫的數據庫特征數據。外部存儲結構生成模塊；根據從應用程序接口接收到的數據庫外部存儲數據的信息，將外部存儲數據的字段信息寫入數據庫文件或數據庫管理系統中。所述外部存儲管理系統包括外部存儲數據管理模塊，用于根據應用程序接口指令，對外部存儲字段進行配置，并對外部存儲行為進行管理。應用程序接口包括外部存儲數據移出模塊，外部存儲數據存儲模塊，其中：外部存儲數據移出模塊，根據應用程序接口指令，將外部存儲數據從記錄中移出；外部存儲數據存儲模塊，根據應用程序接口指令，將外部存儲數據寫入由擴展服務器指定的外部存儲區中的子目錄。擴展服務器包括外部存儲區建立模塊，外部存儲數據位置管理模塊，其中：外部存儲區建立模塊，根據擴展服務器指令，在磁盤存儲器建立數據庫外部存儲區；外部存儲數據位置管理模塊，記錄為每一條記錄的外部存儲數據所分配的標準存儲單元在磁盤存儲器的外部存儲區中的位置信息，并寫入擴展服務器中。所述擴展服務器還包括光盤外部存儲區建立模塊，外部存儲數據光盤位置管理模塊，外部存儲數據合并模塊，其中：光盤外部存儲區建立模塊，根據擴本文檔來自技高網...

【技術保護點】
一種基于光盤的數據庫的數據外部存儲系統，包括服務器(server)，與服務器數據連接的磁盤存儲裝置(diskstorage)和光盤存儲裝置(optistorage)，其特征在于：所述服務器(server)上設置數據庫管理系統(dm)，外部存儲管理系統(es)，應用程序接口(ASE)，擴展服務器(ese)，磁盤存儲裝置(diskstorage)和光盤存儲裝置(optistorage)上分別設置對應的數據庫(db、db1)和數據庫外部存儲區(esa、esa1)，數據庫(db、db1)中記錄的部分字段數據對應存儲在數據庫外部存儲區(esa、esa1)中，其中：數據庫管理系統(dm)用于響應數據請求，完成存儲裝置中數據庫管理和數據管理；外部存儲管理系統(es)用于響應數據請求，完成存儲裝置中數據庫外部存儲區(esa、esa1)管理和數據管理；應用程序接口(ASE)用于獲取數據庫外部存儲數據的信息，完成存儲裝置的數據庫外部存儲；擴展服務器(ese)用于建立數據庫外部存儲區(esa、esa1)，確定數據庫外部存儲數據在外部存儲區(esa、esa1)中的位置。

【技術特征摘要】
1.一種基于光盤的數據庫的數據外部存儲系統，包括服務器(server)，與服務器數據連接的磁盤存儲裝置(diskstorage)和光盤存儲裝置(optistorage)，其特征在于：所述服務器(server)上設置數據庫管理系統(dm)，外部存儲管理系統(es)，應用程序接口(ASE)，擴展服務器(ese)，磁盤存儲裝置(diskstorage)和光盤存儲裝置(optistorage)上分別設置對應的數據庫(db、db1)和數據庫外部存儲區(esa、esa1)，數據庫(db、db1)中記錄的部分字段數據對應存儲在數據庫外部存儲區(esa、esa1)中，其中：數據庫管理系統(dm)用于響應數據請求，完成存儲裝置中數據庫管理和數據管理；外部存儲管理系統(es)用于響應數據請求，完成存儲裝置中數據庫外部存儲區(esa、esa1)管理和數據管理；應用程序接口(ASE)用于獲取數據庫外部存儲數據的信息，完成存儲裝置的數據庫外部存儲；擴展服務器(ese)用于建立數據庫外部存儲區(esa、esa1)，確定數據庫外部存儲數據在外部存儲區(esa、esa1)中的位置；所述數據庫管理系統(dm)包括字段結構生成模塊(u1)，記錄索引生成模塊(u2)，存儲空間分配模塊(u3)，存儲空間狀態模塊(u4)，記錄鏈接模塊(u5)，記錄拆分模塊(u6)，光盤建庫與錄入模塊(u7)，庫結構生成模塊(u8)，記錄合并模塊(u9)，外部存儲結構生成模塊(u10)，其中：字段結構生成模塊(u1)，讀取數據庫中每一條記錄的字段結構信息，包括記錄中各字段的數據類型、長度，并寫入數據庫文件或數據庫管理系統(dm)中；記錄索引生成模塊(u2)，記錄數據庫中每一條記錄的索引信息，包括記錄中各字段的修改時間、修改內容，并寫入數據庫文件或數據庫管理系統(dm)中；存儲空間分配模塊(u3)，記錄為每一條記錄所分配的標準存儲單元在數據庫文件中的位置信息，并寫入數據庫文件或數據庫管理系統(dm)中；存儲空間狀態模塊(u4)，記錄數據庫文件中已分配標準存儲單元中未使用的空間信息，并寫入數據庫文件或數據庫管理系統(dm)中；記錄鏈接模塊(u5)，將數據庫中各記錄的字段結構信息、索引信息、標準存儲單元的位置信息和空間信息合并，形成數據庫特征數據，并寫入數據庫文件或數據庫管理系統(dm)中；記錄拆分模塊(u6)，根據數據庫管理系統(dm)指令進行數據庫中記錄拆分，數據拆分以記錄為單位進行，讀取數據庫特征數據，確定記錄中每個字段的數據位置和數據量，標記出符合指令參數的記錄，并將標記信息寫入數據庫文件或數據庫管理系統(dm)中；光盤建庫與錄入模塊(u7)，用于在光盤(bd)上建立數據庫文件，并將數據直接錄入到光盤(bd)上的數據庫，并通過數據庫管理系統(dm)生成對應記錄的字段結構信息、索引信息，記錄標準存儲單元位置信息和空間信息，形成光盤上的數據庫特征數據；庫結構生成模塊(u8)，將數據庫的庫結構形成獨立數據；數據庫管理系統(dm)根據獨立數據在光盤上建立相同庫結構的子數據庫(db1)；記錄合并模塊(u9)，根據數據庫管理系統(dm)指令，將光盤上子數據庫(db1)中的記錄合并到磁盤存儲裝置(diskstorage)上的磁盤數據庫(db)中，并通過數據庫管理系統(dm)生成對應記錄的字段結構信息、索引信息，以及記錄標準存儲單元位置信息和空間信息，形成磁盤數據庫(db)的數據庫特征數據；外部存儲結構生成模塊(u10)；根據從應用程序接口(ASE)接收到的數據庫外部存儲數據的信息，將外部存儲數據的字段信息寫入數據庫文件或數據庫管理系統(dm)中；所述外部存儲管理系統(es)包括外部存儲數據管理模塊(u11)，用于根據應用程序接口(ASE)指令，對外部存儲字段進行配置，并對外部存儲行為進行管理；應用程序接口(ASE)包括外部存儲數據移出模塊(u12)，外部存儲數據存儲模塊(u13)，其中：外部存儲數據移出模塊(u12)，根據應用程序接口(ASE)指令，將外部存儲數據從記錄中移出；外部存儲數據存儲模塊(u13)，根據應用程序接口(ASE)指令，將外部存儲數據寫入由擴展服務器(ese)指定的外部存儲區中的子目錄；擴展服務器(ese)包括外部存儲區建立模塊(u14)，外部存儲數據位置管理模塊(u15)，其中：外部存儲區建立模塊(u14)，根據擴展服務器(ese)指令，在磁盤存儲器建立數據庫外部存儲區；外部存儲數據位置管理模塊(u15)，記錄為每一條記錄的外部存儲數據所分配的標準存儲單元在磁盤存儲器的外部存儲區中的位置信息，并寫入擴展服務器(ese)中；所述擴展服務器(ese)還包括光盤外部存儲區建立模塊(u16)，外部存儲數據光盤位置管理模塊(u17)，外部存儲數據合并模塊(u18)，其中：光盤外部存儲區建立模塊(u16)，根據擴展服務器(ese)指令，在光盤(bd)上建立相應子數據庫(db1)的數據庫外部存儲區(esa1)；外部存儲數據光盤位置管理模塊(u17)，用于將外部存儲區中與光盤容量匹配的外部存儲數據寫入擴展服務器(ese)在光盤(bd)上建立的數據庫外部存儲區的子目錄下，并通過擴展服務器(ese)生成對應記錄的外部存儲數據的存儲單元在光盤(bd)上的位置信息和空間信息；外部存儲數據合并模塊(u18)，根據擴展服務器(ese)指令，將光盤上外部存儲區子目錄下的數據存儲在磁盤存儲裝置(diskstorage)上外部存儲區子目錄下。2.根據權利要求1所述的基于光盤的數據庫的數據外部存儲系統，完成數據庫數據和數據庫外部存儲數據在磁盤存儲裝置中進行數據存儲的主要步驟包括：數據前向轉移時：數據庫管理系統(dm)調用應用程序接口(ASE)向擴展服務器(ese)發出建立外部存儲區(esa)的請求，擴展服務器(ese)在存儲裝置上建立相應參數的外部存儲區(esa)，相應參數中包括容量、目錄結構、存儲位置等物理拓撲信息；數據庫管理系統(dm)通過外部存儲管理系統(es)管理外部存儲區(esa)中外部存儲數據的字段信息；數據庫管理系統(dm)向數據庫中寫入被修改的不包含外部存儲數據的記錄；數據庫管理系統(dm)調用應用程序接口(ASE)向相應數據庫的外部存儲區(esa)寫入外部存儲數據；數據后向轉移時：數據庫管理系統(dm)調用應用程序接口(ASE)向擴展服務器(ese)發出字段信息的請求，擴展服務器(ese)返回外部存儲區(esa)中相應數據庫的字段信息；數據庫管理系統(dm)獲得數據庫中從記錄中移出的外部存儲數據的字段信息，將該字段的外部存儲數據與數據庫中的相應記錄的字段粘貼，獲得完整的(數據庫)記錄；數據庫管理系統(dm)通過外部存儲管理系統(es)更新外部存儲區(esa)中外部存儲數據的字段信息。3.根據權利要求1所述的基于光盤的數據庫的數據外部存儲系統，在光盤上直接建立數據庫和外部存儲數據的主要步驟包括：步驟110，數據庫管理系統(dm)獲取光盤存儲介質的容量參數；步驟115，通過庫結構生成模塊(u8)在光盤上建立數據庫文件；步驟120，通過光盤建立外部存儲區模塊(u16)在光盤上建立相應數據庫的外部存儲區；步驟125，通過外部存儲數據光盤位置管理模塊(u17)在光盤上的外部存儲區建立相應數據庫的子目錄；步驟130，通過光盤建庫與錄入模塊(u7)向光盤上數據庫文件中增加記錄；步驟135，通過字段結構生成模塊(u1)生成記錄的字段結構信息；步驟140，通過記錄索引生成模塊(u2)生成記錄的索引信息；步驟145，通過存儲空間分配模塊(u3)記錄標準存儲單元位置信息；步驟150，通過存儲空間狀態模塊(u4)記錄標準存儲單元的空間信息；步驟155，通過外部存儲數據移出模塊(u12)獲得從記錄中移出的外部存儲數據的信息；步驟160，通過外部存儲數據存儲模塊...

【專利技術屬性】
技術研發人員：練子川，練亞純，陶光毅，
申請(專利權)人：廣東綠源巢信息科技有限公司，
類型：發明
國別省市：廣東;44