管理數(shù)據(jù)的方法、系統(tǒng)和計算機系統(tǒng)技術(shù)方案

提供一種用于管理數(shù)據(jù)的方法，該方法包括：接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由各自的鍵值來識別；存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過壓縮多個接收的數(shù)據(jù)單元而生成的；以及管理各塊中用于搜索數(shù)據(jù)單元的索引的集合，其中所述索引的集合中的第一索引包括針對每個所述塊的條目，所述條目基于第一鍵值使能包括各數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元對應于包括所述第一鍵值的各鍵值的范圍，所述索引的集合還包括第二索引，所述第二索引包括用于從對應于所述第一鍵值的數(shù)據(jù)單元的屬性值確定所述第一鍵值的條目。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及管理可單獨訪問的數(shù)據(jù)單元的存儲器。本專利技術(shù)具體涉及用于管理數(shù)據(jù)的方法、系統(tǒng)和計算機系統(tǒng)。
技術(shù)介紹
數(shù)據(jù)庫系統(tǒng)可以用多種格式中任意一種存儲數(shù)據(jù)或“記錄”的可單獨訪問(individually accessible)單元。每個記錄可以對應諸如信用卡交易這樣的邏輯實體,并且典型地具有用于唯一識別該記錄的關(guān)聯(lián)的主鍵(primary key)。該記錄可以包括與記錄·格式的各個字段(field)相關(guān)聯(lián)的多個值。所述記錄可以存儲在一個或多個文件中(例如，平面文件或諸如XML文件這樣的結(jié)構(gòu)數(shù)據(jù)文件)。在壓縮的數(shù)據(jù)庫系統(tǒng)中，記錄中的單獨記錄或值可以在存儲時壓縮，并在訪問時解壓縮，以降低系統(tǒng)的存儲要求。
技術(shù)實現(xiàn)思路
在一個方面，一般來說，用于管理數(shù)據(jù)的方法包括接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由鍵值來識別(identify);存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過組合多個所述數(shù)據(jù)單元而生成的；以及提供包括用于每個所述塊的條目(entry)的索引，其中，一個或多個條目基于所提供的鍵值使能包括數(shù)據(jù)單元的塊的位置，該數(shù)據(jù)單元與包括所提供的鍵值的鍵值范圍對應。在另一個方面，一般來說，用于管理數(shù)據(jù)的系統(tǒng)包括用于接收可單獨訪問的數(shù)據(jù)單元的裝置，每個數(shù)據(jù)單元由鍵值來識別；用于存儲多個數(shù)據(jù)塊的裝置，至少一些塊中的每一個是通過組合多個所述數(shù)據(jù)單元而生成的；以及用于提供包括用于每個所述塊的條目的索引的裝置，其中，一個或多個條目基于所提供的鍵值使能包括數(shù)據(jù)單元的塊的位置，該數(shù)據(jù)單元與包括所提供的鍵值的鍵值范圍對應。在再一個方面，一般來說，存儲在計算機可讀介質(zhì)上的用于管理數(shù)據(jù)的計算機程序，包括用于使計算機執(zhí)行以下步驟的指令接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由鍵值來識別；存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過組合多個所述數(shù)據(jù)單元而生成的；以及提供包括用于每個所述塊的條目的索引，其中，一個或多個條目基于所提供的鍵值使能包括數(shù)據(jù)單元的塊的位置，該數(shù)據(jù)單元與包括所提供的鍵值的鍵值范圍對應。在另一個方面，一般來說，用于管理數(shù)據(jù)的方法包括接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由各自的鍵值來識別；存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過壓縮多個接收的數(shù)據(jù)單元而生成的；以及管理各塊中用于搜索數(shù)據(jù)單元的索引的集合，其中所述索引的集合中的第一索引包括針對每個所述塊的條目，所述條目基于第一鍵值使能包括各數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元對應于包括所述第一鍵值的各鍵值的范圍，所述索引的集合還包括第二索引，所述第二索引包括用于從對應于所述第一鍵值的數(shù)據(jù)單元的屬性值確定所述第一鍵值的條目。在另一個方面，一般來說，用于管理數(shù)據(jù)的計算機系統(tǒng)包括輸入設備，配置為接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由各自的鍵值來識別；至少一個處理器，配置為處理數(shù)據(jù)單元，該處理包括存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過壓縮多個接收的數(shù)據(jù)單元而生成的；以及管理各塊中用于搜索數(shù)據(jù)單元的索引的集合，其中所述索引的集合中的第一索引包括針對每個所述塊的條目，所述條目基于第一鍵值使能包括各數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元對應于包括所述第一鍵值的各鍵值的范圍，所述索引的集合還包括第二索引，所述第二索引包括用于從對應于所述第一鍵值的數(shù)據(jù)單元的屬性值確定所述第一鍵值的條目。在另一個方面，一般來說，用于管理數(shù)據(jù)的系統(tǒng)包括用于接收可單獨訪問的數(shù)據(jù)單元的裝置，每個數(shù)據(jù)單元由各自的鍵值來識別；用于存儲多個數(shù)據(jù)塊的裝置，至少一些塊中的每一個是通過壓縮多個接收的數(shù)據(jù)單元而生成的；以及用于管理各塊中用于搜索數(shù)據(jù)單元的索引的集合的裝置，其中所述索引的集合中的第一索引包括針對每個所述塊的條 目，所述條目基于第一鍵值使能包括各數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元對應于包括所述第一鍵值的各鍵值的范圍，所述索引的集合還包括第二索引，所述第二索引包括用于從對應于所述第一鍵值的數(shù)據(jù)單元的屬性值確定所述第一鍵值的條目。這些方面可以包括一個或多個下列特征。至少一些塊是通過基于所述鍵值的定義的順序(defined order)來組合所述數(shù)據(jù)單元而生成的。所述定義的順序是字母順序(alphabetical)。所述定義的順序是數(shù)字順序(numerical )。各個塊是從數(shù)據(jù)單元的各個集合生成的，并且這些集合根據(jù)定義的順序?qū)跓o重疊的鍵值范圍。索引中的一個或多個條目識別與對應塊從其生成的數(shù)據(jù)單元對應的鍵值范圍。所述鍵值范圍由包括鍵值范圍的至少一個極值的信息來識別。所述鍵值范圍由來自索引中第一條目的第一極值和來自索引中第二條目的第二極值來識別。所述鍵值范圍由包括與對應塊從其生成的數(shù)據(jù)單元相關(guān)聯(lián)的鍵值的至少一個極值的信息來識別。所述鍵值范圍由來自索引中第一條目的第一極值和來自索引中第二條目的第二極值來識別。索引中至少一些條目中的每一個識別對應塊的存儲位置。通過組合多個數(shù)據(jù)單元生成塊包括壓縮數(shù)據(jù)單元的集合。解壓縮通過壓縮數(shù)據(jù)單元的集合而生成的塊包括處理整個塊。所述數(shù)據(jù)單元是每個都具有一個或多個與對應字段相關(guān)聯(lián)的值的記錄。識別所接收的數(shù)據(jù)單元的鍵值對應于在被接收之前與給定數(shù)據(jù)單元相關(guān)聯(lián)的一個或多個字段。識別所接收的數(shù)據(jù)單元的鍵值被分配給在被接收之后的數(shù)據(jù)單元。鍵值被單調(diào)地(monotonically)分配。鍵值被順序地(sequentially)分配。所存儲的數(shù)據(jù)塊被存儲為塊的第一集合。所述塊的第一集合被存儲在文件中。存儲一個或多個數(shù)據(jù)塊的第二集合，所述第二集合中的至少一些塊的每一個是從在存儲所述塊的第一集合之后接收到的多個數(shù)據(jù)單元中生成的。所述第二集合中的至少一些塊是通過壓縮數(shù)據(jù)單元的集合而生成的。提供包括用于第二集合中每個塊的條目的索引，其中，一個或多個條目基于所提供的鍵值使能包括數(shù)據(jù)單元的塊的位置，該數(shù)據(jù)單元與包括所提供的鍵值的鍵值范圍對 應。處理塊的第一和第二集合，以便恢復從其生成塊的數(shù)據(jù)單元；根據(jù)與所述數(shù)據(jù)單元對應的鍵值的順序，排序從第一集合中恢復的數(shù)據(jù)單元和從第二集合中恢復的數(shù)據(jù)單元，以生成經(jīng)排序的數(shù)據(jù)單元的集合；以及生成塊的第三集合，所述第三集合中至少一些塊的每一個是通過組合多個經(jīng)排序的數(shù)據(jù)單元而生成的。排序從第一集合中恢復的數(shù)據(jù)單元和從第二集合恢復的數(shù)據(jù)單元包括，根據(jù)與所述數(shù)據(jù)單元對應的鍵值的順序，合并從第一集合恢復的數(shù)據(jù)單元和從第二集合恢復的數(shù)據(jù)單元，以生成經(jīng)排序的數(shù)據(jù)單元的集合。提供包括用于第三集合中每個塊的條目的第三集合的索引，其中，一個或多個條目基于所提供的鍵值使能包括數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元與包括所提供的鍵值的鍵值范圍對應。提供與所存儲的塊相關(guān)聯(lián)的篩選數(shù)據(jù)結(jié)構(gòu)(screening data structure),用于確定包括給定屬性值的數(shù)據(jù)單元包括在從其生成所述塊的數(shù)據(jù)單元中的可能性(possibility)。所述屬性值包括識別單元的鍵值。所述篩選數(shù)據(jù)結(jié)構(gòu)對于給定屬性值確定包括給定屬性值的數(shù)據(jù)單元肯定沒有包括(definitely not included),或者包括給定屬性值的數(shù)據(jù)單元可能被包括(possiblyincluded)。當所述數(shù)據(jù)單元沒有被包括時，所述篩選數(shù)據(jù)結(jié)構(gòu)確定包括給定屬性值的數(shù)據(jù)單元可能被包括的概率(probab i I i ty )取決于所述數(shù)據(jù)結(jié)構(gòu)的大小基于從本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種用于管理數(shù)據(jù)的方法，該方法包括：接收可單獨訪問的數(shù)據(jù)單元，每個數(shù)據(jù)單元由各自的鍵值來識別；存儲多個數(shù)據(jù)塊，至少一些塊中的每一個是通過壓縮多個接收的數(shù)據(jù)單元而生成的；以及管理各塊中用于搜索數(shù)據(jù)單元的索引的集合，其中所述索引的集合中的第一索引包括針對每個所述塊的條目，所述條目基于第一鍵值使能包括各數(shù)據(jù)單元的塊的位置，所述數(shù)據(jù)單元對應于包括所述第一鍵值的各鍵值的范圍，所述索引的集合還包括第二索引，所述第二索引包括用于從對應于所述第一鍵值的數(shù)據(jù)單元的屬性值確定所述第一鍵值的條目。

【技術(shù)特征摘要】
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：埃弗雷姆M維施尼亞克，馬歇爾A伊斯曼，保羅貝，H馬克布羅姆利，約翰L理查森，
申請(專利權(quán))人：起元技術(shù)有限責任公司，
類型：發(fā)明
國別省市：