一種基于閃存實現的冷熱數據自動分離方法、系統及閃存技術方案

本發明專利技術適用于閃存存儲技術領域，提供了一種基于閃存實現的冷熱數據自動分離方法、系統及閃存，該方法包括：為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識；當閃存對數據進行處理時，根據預設的熱度等級對邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。本發明專利技術直接在閃存邏輯物理地址映射表對數據冷熱程度進行處理，僅需修改FTL算法即可，因此無需額外的軟件和緩存來實現數據的冷熱分離。從而本發明專利技術能使數據在閃存的存儲過程中，自動實現根據訪問頻率進行分離存儲，無需額外的冷熱數據判斷算法和緩存支持。

【技術實現步驟摘要】
本專利技術涉及閃存存儲
，尤其涉及一種基于閃存實現的冷熱數據自動分離方法、系統及閃存。
技術介紹
現有計算機或存儲系統中常對數據根據訪問頻率進行分類，以區分冷數據和熱數據，以便用戶對數據進行處理。熱數據需要在高性能、高度可用、高要求的環境下即時存取。溫數據處于近線或在線備份環境中，用戶需要快速訪問這些數據，但訪問的次數較少。冷數據需要歸檔并長期保存的數據。 目前計算機或存儲系統中對冷熱數據的分離都需要在主機上運行通過一定算法模型創建的軟件，同時需要將數據暫存在內存(緩存)中，通過冷熱數據判斷軟件對數據訪問頻率進行檢測，從而判斷數據的冷熱程度。其缺點主要包括一、數據需要暫存在內存(緩存)中，在系統突然掉電時增加了數據丟失的風險。二、需要在主機上運行冷熱數據判斷軟件，增加了主機中央處理器的負擔。三、現有方法都是通過算法和數據模型創建的，模型的準確度影響了最終數據分離的效果。綜上可知，現有冷熱數據分離方法在實際使用上，顯然存在不便與缺陷，所以有必要加以改進。
技術實現思路
針對上述的缺陷，本專利技術的目的在于提供一種基于閃存實現的冷熱數據自動分離方法、系統及閃存，其能使數據在閃存的存儲過程中，自動實現根據訪問頻率高低進行分離存儲，無需額外的冷熱數據判斷算法和緩存支持。為了實現上述目的，本專利技術提供一種基于閃存實現的冷熱數據自動分離方法，包括為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識；當所述閃存對數據進行處理時，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟中所述熱度等級根據所述訪問頻率由高至低分為最熱數據、次熱數據、熱數據、冷數據、次冷數據和最冷數據。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟包括當所述閃存寫入一新數據時，將該數據的熱度標識設置為最熱數據。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括對寫入數據進行動態磨損均衡處理時，在所述邏輯物理地址映射表中將該寫入數據的熱度標識設置為熱數據。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括對寫入數據進行靜態磨損均衡處理時，當有物理頁或物理塊達到靜態磨損均衡的設定值后，將該物理頁或物理塊中數據進行搬移；若該被搬移的數據的熱度標識為次冷數據或最冷數據，則在所述邏輯物理地址映射表中將該數據的熱度標識更新最冷數據，否則將該數據的熱度標識更新為次冷數據。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括當有物理頁或物理塊達到垃圾回收的設定值后，將該物理頁或物理塊中數據進行搬移；若該被搬移的數據的熱度標識為最熱數據、次熱數據或熱數據，則在所述邏輯物理地址映射表中將該數據的熱度標識更新為冷數據，否則保持該數據的熱度標識不變。根據本專利技術的冷熱數據自動分離方法，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括當對數據進行讀干擾消除處理時，則將該數據的熱度標識更新為訪問頻率更高的熱度等級。本專利技術相應提供一種基于閃存實現的冷熱數據自動分離系統，包括熱度標識設置單元，用于為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識；熱度標識更新單元，用于當所述閃存對數據進行處理時，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。根據本專利技術的冷熱數據自動分離系統，所述熱度等級根據所述訪問頻率由高至低分為最熱數據、次熱數據、熱數據、冷數據、次冷數據和最冷數據。本專利技術還提供一種包括上述冷熱數據自動分離系統的閃存。本專利技術通過在閃存的邏輯物理地址映射表中添加一表示數據訪問頻率的熱度標識，當閃存對數據進行處理時，則根據預設的熱度等級對邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。數據在閃存中存儲一段時間以后，在邏輯物理地址映射表中的熱度標識將能夠表示出數據的訪問頻率的高低，同時由于本專利技術直接在閃存邏輯物理地址映射表對數據冷熱程度進行處理，僅需修改FTL算法即可，因此無需額外的軟件和緩存來實現數據的冷熱分離。從而本專利技術能使數據在閃存的存儲過程中，自動實現根據訪問頻率進行分離存儲，無需額外的冷熱數據判斷算法和緩存支持。附圖說明圖I是本專利技術冷熱數據自動分離系統的原理結構示意圖；圖2是本專利技術基于閃存實現的冷熱數據自動分離方法的流程圖；圖3是本專利技術一種實施例中閃存對數據進行靜態磨損均衡處理過程的流程圖；圖4是本專利技術一種實施例中閃存對數據進行垃圾回收處理過程的流程圖。具體實施例方式為了使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本專利技術，并不用于限定本專利技術。如圖I所示，本專利技術一種基于閃存實現的冷熱數據自動分離系統100，可應用于SSD(Solid State Disk,固態硬盤)硬盤，內置于閃存的 FTL(Flash TranslationLayer,閃存轉換層)中，其主要包括熱度標識設置單元10以及熱度標識更新單元20。熱度標識設置單元10，用于為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識。熱度標識更新單元，用于當閃存對數據進行處理，根據預設的熱度等級對邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。即不同的熱度標識代表了不同的熱度等級和不同的訪問頻率。在本專利技術的一個實施例中，熱度等級根·據訪問頻率由高至低分為最熱數據、次熱數據、熱數據、冷數據、次冷數據和最冷數據。在實際操作中，熱度等級可以根據具體情況進行劃分。閃存對數據進行處理通常包括寫數據、讀數據、動態磨損均衡處理、靜態磨損均衡處理、垃圾回收處理以及讀干擾消除處理。由于閃存自身的特性，需要FTL算法保證閃存使用的可靠性，延長閃存的使用壽命。目前最常用的做法是為閃存維護一個邏輯物理地址映射表并且通過一些輔助算法實現。有數據寫入時，將數據寫入到擦寫次數最少的空閑頁(或塊)中-動態磨損均衡；當數據占用的頁(或塊)的擦寫次數和當前空閑頁(或塊)的擦寫次數的差異達到某一設定值后，將該數據搬移到擦寫次數最少的空閑頁(或塊)中-靜態磨損均衡；當一個使用過的頁(或塊)中的有效數據小于某一設定值后，將該有效數據搬移到擦寫次數最少的空閑頁(或塊)中-垃圾回收；當某一頁(或塊)被讀取的次數達到一定次數時，將該有效數據搬移到擦寫次數最少的空閑頁(或塊)中-讀干擾消除。本專利技術正是利用FTL的這些基本算法，并進行一些修改，使數據在閃存的存儲過程中自動實現冷熱數據的分離。一種具體實施例如下在閃存的邏輯物理地址映射表的每個記錄增加一個熱度標識，用于表示數據的訪問頻率的高低，比如將熱度標識根據訪問頻率由高至低分成6個等級最熱數據、次熱數據、熱數據、冷數據、次冷數據和最冷數據。當閃存寫入一新數據時，將該數據本文檔來自技高網...

【技術保護點】
一種基于閃存實現的冷熱數據自動分離方法，其特征在于，包括：為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識；當所述閃存對數據進行處理時，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。

【技術特征摘要】
1.一種基于閃存實現的冷熱數據自動分離方法，其特征在于，包括 為閃存的邏輯物理地址映射表中每個記錄添加表示數據的訪問頻率高低的熱度標識； 當所述閃存對數據進行處理時，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新，不同的熱度等級對應不同的熱度標識。2.根據權利要求I所述的冷熱數據自動分離方法，其特征在于，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟中所述熱度等級根據所述訪問頻率由高至低分為最熱數據、次熱數據、熱數據、冷數據、次冷數據和最冷數據。3.根據權利要求2所述的冷熱數據自動分離方法，其特征在于，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟包括 當所述閃存寫入一新數據時，將該數據的熱度標識設置為最熱數據。4.根據權利要求2所述的冷熱數據自動分離方法，其特征在于，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括對寫入數據進行動態磨損均衡處理時，在所述邏輯物理地址映射表中將該寫入數據的熱度標識設置為熱數據。5.根據權利要求2所述的冷熱數據自動分離方法，其特征在于，根據預設的熱度等級對所述邏輯物理地址映射表中的熱度標識進行更新的步驟還包括 對寫入數據進行靜態磨損均衡處理時，當有物理頁或物理塊達到靜態磨損均衡的設定值后，將該物理頁或物理塊中數據進行搬移； 若該被搬移的數據的熱度標識為次冷數據或...

【專利技術屬性】
技術研發人員：陳宏彬，
申請(專利權)人：記憶科技深圳有限公司，
類型：發明
國別省市：