一種基于人工免疫的存儲異常檢測方法技術

本發明專利技術公開了基于人工免疫的存儲異常檢測方法，該方法采用自然免疫系統中的“異己”檢測機制，對讀／寫數據請求的合法性判別。通過對讀／寫數據請求所形成的存儲元數據進行監控，實現了針對存儲元數據的免疫異常檢測。該方法引入了自然免疫系統中自學習和遺忘等工作機制，每次對用戶的讀／寫請求進行檢測后，都更新檢測器權值，并根據該權值，周期性地淘汰或重建檢測器，以應對存儲系統中不斷出現的新型“異己”。由于檢測器更新機制，使得該方法區別于現有存儲異常檢測技術，實現了真正意義上的智能異常檢測，并具備了自學習和自適應等人工智能特點，有效地識別新出現的“異?！薄?br />

【技術實現步驟摘要】

本專利技術屬于計算機存儲安全領域，具體涉及一種基于人工免疫的存儲異常檢測方法。該方法通過分析存儲元數據實現對存儲系統的異常檢測目的，它不僅具有自學習、自適應、計算并行等人工智能特點，而且能達到高檢測率和低誤警率的檢測效果。
技術介紹
異常檢測通常是指將用戶正常的行為特征存儲在特征數據庫中，然后將用戶當前行為特征與特征數據庫中的特征進行比較，如果二者的偏差超過了一定的范圍，就認為發生了異常。這里將存儲系統中出現的違背訪問規則、破壞完整性等相關行為或現象稱為‘存儲異常’。傳統的存儲異常檢測技術體現在文件加密、訪問控制、文件權限等技術中，這些技術的主要優點是它們比較成熟，應用范圍廣泛，能在一定程度上防御用戶的違規操作。但它們都無法對用戶的存取行為進行診斷。例如，如果入侵者使用一個盜竊帳號，存儲系統中的認證子系統就會將該使用者視為合法用戶，入侵者將對該存儲系統造成威脅，甚至破壞現有存儲數據，即傳統的認證系統無法對合法用戶的越權行為形成有效檢測。近年來有研究者提出了基于規則的過濾、統計分析、模式匹配、隱性馬爾可夫模型、數據挖掘等新技術，在一定程度上改善了傳統的存儲異常檢測技術無法檢測用戶行為、檢測率低下等缺陷，但它們在技術上都具有先天性不足。例如，基于規則的過濾是通過事先定義好一組規則，然后用這組規則與用戶的存取行為進行匹配，即它采用一種預設置式、特征分析式工作原理，由于檢測規則的更新總是落后于攻擊手段的更新，這樣就無-->法做到對存儲異常的主動防御能力，不具有實時性和自適應的功能。對于使用較多的統計分析方法，如貝葉斯統計方法，也存在閾值難以有效確定的問題，這里閾值是指判斷行為是否異常的臨界值，閾值太小會產生大量的誤報，閾值太大又將產生大量的漏報，它們都是一種被動的安全防護措施，只能檢測預定義規則下的異常特征，對新型的存儲異常無能為力，因此檢測率無法保證，達不到真正意義上的存儲安全系統的要求。
技術實現思路
為了彌補現有的存儲異常檢測技術無法針對用戶的存取行為進行診斷以及在新型異常檢測上的缺陷，本專利技術提供了一種基于人工免疫的存儲異常檢測方法，該方法具有自適應性、動態防御性的特點，不僅能夠有效地從用戶訪問行為級對非法的、越權的讀/寫請求進行檢測，而且因為它的自學習和遺忘等人工智能特點，能夠對新型存儲異常進行有效的檢測，同時保證較高的檢測率和較低虛警率。本專利技術提供的基于人工免疫的存儲異常檢測方法，首先按照(1)～(3)建立有效特征庫，再在每次檢測時，按照步驟(4)～(6)進行處理；(1)定義用戶讀/寫請求的元數據數據結構，并轉換為特征序列，應用統計學方法獲得一組基本特征構成基本特征庫；(2)對基本特征庫里的基本特征進行組合，生成檢測器，構成待訓練特征庫；(3)收集一批事先判別好是合法或非法的讀/寫請求，利用這些請求對應的特征序列與待訓練特征庫中的檢測器進行逐個匹配，檢測器每匹配到一個特征序列，就根據該特征序列的合法性更新檢測器對應的權值，所有檢測器與這些特征序列匹配結束后，對檢測器進行篩選，得到有效特征庫；-->(4)截獲讀/寫請求，按照元數據數據結構得到所需的元數據，將其轉換成對應的特征序列，并為該待檢測的特征序列設置兩個權值；(5)將有效特征庫中的每一個檢測器與待檢測的特征序列進行匹配，當匹配成功時，同時更新該待檢測的特征序列和檢測器的權值；全部匹配結束后，如果該待檢測的特征序列所對應的兩個權值之比大于給定的閾值，則視為‘異己’，據此給特征庫一個反饋，為成功匹配該特征序列的所有檢測器增加一個分值，如果特征庫更新時間到，轉到步驟(6)，否則轉到步驟(4)，等待新的讀/寫請求到來；(6)對特征庫進行更新，然后轉到步驟(4)。本專利技術受自然免疫系統二維檢測思想啟發，類似于自然免疫系統對‘自己(Self)’和‘異己(Non-self)’的檢測機制，我們把它應用到存儲系統中對讀/寫數據請求的合法性判別上來，這里把用戶合法的讀/寫請求定義為‘自己’，非法的、越權的讀/寫請求定義為‘異己’。通過對讀/寫請求所形成的存儲元數據進行監控，從而實現了針對存儲元數據的免疫異常檢測，這里我們把針對用戶的讀/寫請求所截取的元數據進行轉換，形成二維數字串，并稱之為特征序列。把特征庫中用來匹配該特征序列的檢測規則稱為檢測器，特征庫中包含有多條檢測規則，所以特征庫中包含多個檢測器。為了降低檢測過程的計算和設計復雜度，我們的檢測只關注存儲系統的元數據的讀/寫訪問請求，這樣在保證檢測率的前提下提高了檢測性能。為實現對新型存儲異常同樣具備較好的檢測能力，該方法引入了自然免疫系統中自學習和遺忘等工作機制，每次對用戶的讀/寫訪問請求進行檢測后，都會更新檢測器相應的權值，這里權值是指檢測器的重要性，同時根據檢測器的權值，周期性地對檢測器進行淘汰和重建，淘汰那些權值較低的無效的檢測器，重建新的有效的檢測器，以應對存儲系統中不斷出現的新型‘異己’。正因為這種檢測器更新機制，使得該方法與通常的存儲異常檢測技術最大不同之處在于它實現了真正意義上的智能異常檢測，使其具備-->自然免疫系統中自學習、自適應等人工智能特點，能夠有效地對新型‘異己’進行檢測。附圖說明圖1為存儲元數據的數據結構示意圖；圖2為存儲元數據轉換成特征序列的過程示意圖；圖3為本專利技術方法的總體流程示意圖；圖4為特征庫生成過程的示意圖。具體實施方式在大規模存儲系統中，很難檢測所有數據的異常，因為數據量通常是巨大的。元數據是描述其他數據的信息，即數據的數據，我們將通過監控用戶訪問時的相關元數據來識別出異常的讀/寫訪問請求，這種方法能降低檢測系統的計算量和設計復雜度。對生物免疫系統的免疫原理進行隱喻，借鑒生物體內生成抗體和匹配抗原，最終識別‘自己’和‘異己’的免疫機制。下面結合附圖和實例對本專利技術作進一步詳細的說明。怎樣獲取存儲元數據呢？首先是截獲訪問請求的系統調用，然后結合請求文件的訪問控制模式和MD5值，形成如圖1所示的存儲元數據數據結構，包括文件名、用戶ID、組ID、文件的MD5值、文件的訪問控制模式(包括讀、寫、修改、刪除)，并設置有保留字段。它主要針對存儲安全中的訪問控制和存儲完整性。其中MD5是為了保證文件的完整性，防止一些人對文件進行非法操作，如加入惡意代碼(如木馬)，或篡改版權，而設計的一套驗證技術，每個文件都可以用MD5驗證程序算出一個特定的MD5數值。為了將來擴展的需要，專門預留了‘保留字段(Rev?Item)’。網絡存儲系統通常采用Linux操作系統將物理存儲設備掛載到網絡上(如SAN等)，從而給客戶端提供存儲服務。來自客戶端的訪問請求將發-->起一個或多個進程，這些進程將進一步調用底層的系統調用。在網絡存儲系統中存在幾百個系統調用，但與文件訪問相關的系統調用的數量是相當小的，因此本專利技術方法只對一些系統調用感興趣，比如‘open’、‘fstat’、‘mmap’、‘read’、‘uname’、‘write’、‘munmap’、‘create’、‘delete’、‘close’等等。通過監控這些系統調用，截獲相關的訪問信息，包括用戶標識符、文件標識符、組標識符、用戶訪問權限等，這些信息將按照存儲元數據的數據結構進行組織(包括圖1所示的用戶訪問控制模式和保留字本文檔來自技高網...

【技術保護點】
一種基于人工免疫的存儲異常檢測方法，首先按照（１）～（３）建立有效特征庫，再在每次檢測時，按照步驟（４）～（６）進行處理；　（１）定義用戶讀／寫請求的元數據數據結構，并轉換為特征序列，應用統計學方法獲得一組基本特征構成基本特征庫；（２）對基本特征庫里的基本特征進行組合，生成檢測器，構成待訓練特征庫；　（３）收集一批事先好判別是合法或非法的讀／寫請求，利用這些請求對應的特征序列與待訓練特征庫中的檢測器進行逐個匹配，檢測器每匹配到一個特征序列，就根據該特征序列的合法性更新檢測器對應的權值，所有檢測器與這些特征序列匹配結束后，對檢測器進行篩選，得到有效特征庫；?。ǎ矗┙孬@讀／寫請求，按照元數據數據結構得到所需的元數據，并將其轉換成對應的特征序列，并為該待檢測的特征序列設置兩個權值；　（５）將有效特征庫中的每一個檢測器與待檢測的特征序列進行匹配，當匹配成功時，同時更新該待檢測的特征序列和檢測器的權值；全部匹配結束后，如果該待檢測的特征序列所對應的兩個權值之比大于給定的閾值，則視為‘異已’，據此給特征庫一個反饋，為成功匹配該特征序列的所有檢測器增加一個分值，如果特征庫更新時間到，轉到步驟（６），否則轉到步驟（４），等待新的讀／寫請求到來；?。ǎ叮μ卣鲙爝M行更新，然后轉到步驟（４）。...

【技術特征摘要】
1、一種基于人工免疫的存儲異常檢測方法，首先按照(1)～(3)建立有效特征庫，再在每次檢測時，按照步驟(4)～(6)進行處理；(1)定義用戶讀/寫請求的元數據數據結構，并轉換為特征序列，應用統計學方法獲得一組基本特征構成基本特征庫；(2)對基本特征庫里的基本特征進行組合，生成檢測器，構成待訓練特征庫；(3)收集一批事先好判別是合法或非法的讀/寫請求，利用這些請求對應的特征序列與待訓練特征庫中的檢測器進行逐個匹配，檢測器每匹配到一個特征序列，就根據該特征序列的合法性更新檢測器對應的權值，所有檢測器與這些特征序列匹配結束后，對檢測器進行篩選，得到有效特征庫；(4)截獲讀/寫請求，按照元數據數據結構得到所需的元數據，并將其轉換成對應的特征序列，并為該待檢測的特征序列設置兩個權值；(5)將有效特征庫中的每一個檢測器與待檢測的特征序列進行匹配，當匹配成功時，同時更新該待檢測的特征序列和檢測器的權值；全部匹配結束后，如果該待檢測的特征序列所對應的兩個權值之比大于給定的閾值，則視為‘異已’，據此給特征庫一個反饋，為成功匹配該特征序列的所有檢測器增加一個分值，如果特征庫更新時間到，轉到步驟(6)，否則轉到步驟(4)，等待新的讀/寫請求到來；(6)對特征庫進行更新，然后轉到步驟(4)。2、根據權利要求1所述的基于人工免疫的存儲異常檢測方法，其特征在于：步驟(2)中，為每個檢測器設置兩個權值times和illegals，times描述檢測器匹配抗原序列的活躍程度，illegals描述檢測器判別非法序列的有效程度，并設置其初始值為0。3、根據權利要求1所述的基于人工免疫的存儲異常檢測方法，其特征在于：步驟(5)具體包括下述過程：(5.1)從有效特征庫中抽取一個檢測器對待檢測的特征序...

【專利技術屬性】
技術研發人員：謝長生，黃建忠，陳云亮，方允福，李欣，
申請(專利權)人：華中科技大學，
類型：發明
國別省市：83[中國|武漢]