用于管理元信息的方法和裝置制造方法及圖紙

本發明專利技術的目的是提供一種用于管理元信息的方法和裝置。根據本發明專利技術的方法包括以下步驟：在目標系統的各個數據塊中存儲或更新其對應的元信息。與現有技術相比，本發明專利技術具有以下優點：通過將元信息存儲于數據塊中，可避免由于文件損壞而導致大量數據的丟失，提升了數據存儲的安全性；并且，根據本發明專利技術的方案可創建多個線程以并行的方式加載元信息，從而提升了系統啟動速度。

Method and apparatus for managing meta information

The object of the present invention is to provide a method and apparatus for managing meta information. The method according to the invention includes the following steps: storing or updating the corresponding meta information in each data block of the target system. Compared with the prior art, the invention has the following advantages: the meta information stored in the data block in the file, can be avoided due to damage caused loss of large amounts of data, improve the security of data storage; and, according to the scheme of the invention can create multiple threads in a parallel manner so as to enhance the loading of meta information the speed of system.

【技術實現步驟摘要】
用于管理元信息的方法和裝置
本專利技術涉及計算機
，尤其涉及一種用于管理元信息的方法和裝置。
技術介紹
基于現有技術的數據存儲系統一般將元信息持久地存儲到磁盤等介質中。該方式存在以下缺陷：1)系統啟動時需要較長的時間來加載和恢復元信息。元信息文件的讀取以及信息反序列化到指定的內存數據結構會消耗相當長的時間，從而影響系統的啟動速度；2)元信息以單獨的文件組織在磁盤上，單獨的文件容易因諸如磁盤壞塊等問題而損壞，而一旦文件損壞，會導致整個節點上的大量數據的丟失。
技術實現思路
本專利技術的目的是提供一種用于管理元信息的方法和裝置。根據本專利技術的一個方面，提供了一種用于管理元信息的方法，其中，所述方法包括以下步驟：-在目標系統的各個數據塊中存儲或更新其對應的元信息。根據本專利技術的一個方面，提供了一種用于管理元信息的信息管理裝置，其中，所述信息管理裝置包括：用于在目標系統的各個數據塊中存儲或更新其對應的元信息的裝置。與現有技術相比，本專利技術具有以下優點：通過將元信息存儲于數據塊中，可避免由于文件損壞而導致大量數據的丟失，提升了數據存儲的安全性；并且，根據本專利技術的方案可創建多個線程以并行的方式加載元信息，從而提升了系統啟動速度。附圖說明通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本專利技術的其它特征、目的和優點將會變得更明顯：圖1示意出了根據本專利技術的一種用于管理元信息的方法流程圖；圖2示意出了根據本專利技術的一種用于管理元信息的信息管理裝置的結構示意圖。附圖中相同或相似的附圖標記代表相同或相似的部件。具體實施方式下面結合附圖對本專利技術作進一步詳細描述。圖1示意出了根據本專利技術的一種用于管理元信息的方法流程圖。根據本專利技術的方法包括步驟S1。其中，根據本專利技術的方法通過包含于計算機設備中的信息管理裝置來實現。所述計算機設備包括一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或信息處理的電子設備，其硬件包括但不限于微處理器、專用集成電路(ASIC)、可編程門陣列(FPGA)、數字處理器(DSP)、嵌入式設備等。所述計算機設備包括網絡設備和/或用戶設備。其中，所述網絡設備包括但不限于單個網絡服務器、多個網絡服務器組成的服務器組或基于云計算(CloudComputing)的由大量主機或網絡服務器構成的云，其中，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。所述用戶設備包括但不限于任何一種可與用戶通過鍵盤、鼠標、遙控器、觸摸板、或聲控設備等方式進行人機交互的電子產品，例如，個人計算機、平板電腦、智能手機、PDA、游戲機、或IPTV等。其中，所述用戶設備及網絡設備所處的網絡包括但不限于互聯網、廣域網、城域網、局域網、VPN網絡等。優選地，根據本專利技術的信息管理裝置所在的設備包含于目標系統中。其中，所述目標系統包括各種數據存儲系統。需要說明的是，所述用戶設備、網絡設備以及網絡僅為舉例，其他現有的或今后可能出現的用戶設備、網絡設備以及網絡如可適用于本專利技術，也應包含在本專利技術保護范圍以內，并以引用方式包含于此。參照圖1，在步驟S1中，信息管理裝置在目標系統的各個數據塊中存儲或更新其對應的元信息。優選地，信息管理裝置存儲元信息的方式包括但不限于以下至少任一種：1)將元信息存儲于底層文件系統；優選地，這類元信息包括數據塊的長度、所在設備的標識信息等；2)將元信息存儲于數據塊名稱中；優選地，這類元信息包括數據塊的標識信息、數據塊的壓縮方式信息等等；3)將元信息存儲于數據塊的數據頭部；優選地，這類元信息包括不需要在系統啟動時立即構建的元信息，主要包括文件的壓縮塊索引信息等等。根據本專利技術的一個優選實施例，信息管理裝置基于待存儲數據的業務類型信息，將與該待存儲數據對應的數據塊及其元信息存儲至特定的存儲介質中，以分別對各個存儲介質中的元信息進行管理。其中，所述存儲介質包括各種類型的媒體介質，例如，串行高級技術附件(SerialAdvancedTechnologyAttachment，SATA)、固態硬盤(SolidStateDisk，SSD)、內存文件、歸檔盤和云盤等等。優選地，信息管理裝置分別對各個存儲介質中的數據塊的元信息進行管理。更優選地，對于同一存儲介質，信息管理裝置可分別對存儲于不同設備的數據塊的元信息進行管理。根據本優選實施例的方法，可基于數據的業務類型選擇不同的存儲介質進行存儲，對不同存儲介質中的元信息進行管理，從而減小不同業務之間的競爭關系，避免低優先級業務對高優先級業務帶來性能上的影響；并且可對不同設備的元信息進行獨立的管理，從而減小跨設備之間的競爭關系。優選地，根據本專利技術的方法包括步驟S2(圖未示)。在步驟S2中，在需要加載系統的元信息時，信息管理裝置創建多個線程來分別加載多個磁盤中的數據塊的元數據信息。根據本專利技術的一個優選實施方案，在目標系統的啟動階段，所述方法包括步驟S3(圖未示)，所述步驟S2包括步驟S201(圖未示)。在步驟S3中，信息管理裝置根據目標系統的黑名單信息，確定需要過濾掉的磁盤信息，從而得到可使用的一個或多個磁盤信息。優選地，所述需要過濾掉的磁盤信息包括壞掉的磁盤，或者因其它原因而無法被使用的存儲介質。在步驟S201中，信息管理裝置基于所述可使用的一個或多個磁盤信息，創建多個線程來分別加載各個磁盤中的數據塊的元數據信息。優選地，根據本優選實施方案的方法包括步驟S4(圖未示)。在步驟S4中，信息管理裝置加載每個磁盤的低壓縮率的數據塊信息，從而在目標系統進行透明壓縮時跳過各個低壓縮率的數據塊。其中，所述低壓縮率的數據塊信息用于在透明壓縮時直接跳過。其中，透明壓縮是一種后臺進行的定期把非壓縮類型的數據壓縮為指定類型數據的一種定時工作任務，以一種后臺進行的定期把非壓縮類型的數據壓縮為指定類型數據的一種定時工作任務。優選地，根據本優選實施方案的方法包括步驟S5(圖未示)。在步驟S5中，信息管理裝置根據已掃描的各個磁盤的使用信息和狀態信息，對各個磁盤加載的數據塊進行去重處理。根據本專利技術的方法，通過將元信息存儲于數據塊中，可避免由于文件損壞而導致大量數據的丟失，提升了數據存儲的安全性；并且，根據本專利技術的方案可創建多個線程以并行的方式加載元信息，從而提升了系統啟動速度。圖2示意出了根據本專利技術的一種用于管理元信息的信息管理裝置的結構示意圖。所述信息管理裝置包括用于在目標系統的各個數據塊中存儲或更新其對應的元信息的裝置(以下簡稱“存儲裝置1”)。存儲裝置1在目標系統的各個數據塊中存儲或更新其對應的元信息。優選地，存儲裝置1存儲元信息的方式包括但不限于以下至少任一種：1)將元信息存儲于底層文件系統；優選地，這類元信息包括數據塊的長度、所在設備的標識信息等；2)將元信息存儲于數據塊名稱中；優選地，這類元信息包括數據塊的標識信息、數據塊的壓縮方式信息等等；3)將元信息存儲于數據塊的數據頭部；優選地，這類元信息包括不需要在系統啟動時立即構建的元信息，主要包括文件的壓縮塊索引信息等等。根據本專利技術的一個優選實施例，存儲裝置1基于待存儲數據的業務類型信息，將與該待存儲數據對應的數據塊及其元信息存儲至特定的存儲介質中，以分別對各個存儲介質中的元信息進行管理。其中，所述存儲介質包括各種類型的媒體介質，例如，串行本文檔來自技高網...

【技術保護點】
一種用于管理元信息的方法，其中，所述方法包括以下步驟：?在目標系統的各個數據塊中存儲或更新其對應的元信息。

【技術特征摘要】
1.一種用于管理元信息的方法，其中，所述方法包括以下步驟：-在目標系統的各個數據塊中存儲或更新其對應的元信息。2.根據權利要求1所述的方法，其中，所述在目標系統的各個數據塊中存儲或更新其對應的元信息的步驟按照以下至少任一種方式存儲元信息：-將元信息存儲于底層文件系統；-將元信息存儲于數據塊名稱中；-將元信息存儲于數據塊的數據頭部。3.根據權利要求1所述的方法，其中，所述步驟a包括以下步驟：-基于待存儲數據的業務類型信息，將與該待存儲數據對應的數據塊及其元信息存儲至特定的存儲介質中，以分別對各個存儲介質中的元信息進行管理。4.根據權利要求1所述的方法，其中，所述方法包括以下步驟：-在需要加載系統的元信息時，創建多個線程來分別加載多個磁盤中的數據塊的元數據信息。5.根據權利要求4所述的方法，其中，在目標系統的啟動階段，所述方法包括以下步驟：-根據目標系統的黑名單信息，確定需要過濾掉的磁盤信息，從而得到可使用的一個或多個磁盤信息；其中，所述創建多個線程來分別加載多個磁盤中的數據塊的元數據信息的步驟包括以下步驟：-基于所述可使用的一個或多個磁盤信息，創建多個線程來分別加載各個磁盤中的數據塊的元數據信息。6.根據權利要求5所述的方法，其中，所述方法包括以下步驟：-加載每個磁盤的低壓縮率的數據塊信息，從而在目標系統進行透明壓縮時跳過各個低壓縮率的數據塊。7.根據權利要求5所述的方法，其中，所述方法包括以下步驟：-根據已掃描的各個磁盤的使用信息和狀態信息，對各個磁盤加載的數據塊進行去重處理。8.一種用于管理元信息的信息管理裝置，其中，所述信息管理裝置包括：用于在目標...

【專利技術屬性】
技術研發人員：付萬宇，
申請(專利權)人：北京百度網訊科技有限公司，
類型：發明
國別省市：北京,11