面向圖像語義標注的規則庫結構優化與生成方法及系統技術方案

本發明專利技術公開了一種面向圖像語義標注的規則庫結構優化與生成方法及系統，其中方法主要包括以下步驟：通過前饋神經網絡去除噪聲樣本，得到初始訓練樣本集；得到經過特征選擇后的起點訓練樣本集以及終點樣本子集；將起點樣本集到終點樣本子集的每條路徑轉換為一條標注規則，從起點樣本集到終點樣本子集的所有路徑構成的規則集就是規則庫。本發明專利技術可實現圖像的語義標注，使用戶能夠從海量圖像中快速、有效地找到感興趣的圖像資源。

【技術實現步驟摘要】
面向圖像語義標注的規則庫結構優化與生成方法及系統
本專利技術涉及圖像語義標注，尤其涉及一種面向圖像語義標注的規則庫結構優化與生成方法及系統。
技術介紹
隨著圖像數量的急劇增長，圖像已充斥整個網絡。如何有效地檢索和利用如此大規模的海量圖像，以便用戶能夠快速、有效地找到感興趣的圖像資源，已成為當前極具挑戰的任務。然而，作為圖像檢索的重要環節，語義標注的準確度決定著圖像檢索的效果。基于語義的圖像檢索能夠彌補基于文本、基于內容的圖像檢索兩種方案的缺陷，使檢索結果與用戶所需信息盡可能一致。常用的圖像語義標注方法有兩種：一種是概率模型方法，另一種是模式分類方法。前者建立圖像與關鍵詞之間的聯合概率分布，將具有最大概率的語義概念標注到相應的圖像上，以此實現圖像語義的自動標注；后者將每個未標注的圖像分類到某個類別，再將該類別的語義概念傳遞到未標注圖像上，從而實現圖像語義的自動標注。這兩種方法雖然已得到廣泛的應用，但仍存在如下不足：(1)一般而言，圖像與語義概念之間的聯合概率分布不能反映兩者之間的實際分布，因此，依據概率模型的語義標注方法并不能取得理想的標注效果。(2)為了獲得圖像與語義概念之間的聯合概率分布，需要進行參數估計，參數估計的過程往往很復雜，且時間代價過高。(3)模式分類方法雖然有較強的泛化能力，但這種方法屬于黑箱操作，無法產生人類可以理解的標注過程。本專利技術針對現有圖像語義標注方法的不足，研究了一種面向圖像語義標注的規則庫結構優化與生成方法，擴展了已有研究的成果。
技術實現思路
本專利技術要解決的技術問題在于針對現有技術中的上述缺陷，提供一種可以避免復雜的參數估計運算，提供人類可理解的標注過程的面向圖像語義標注的規則庫結構優化與生成方法及系統。本專利技術解決其技術問題所采用的技術方案是：提供一種面向圖像語義標注的規則庫結構優化與生成方法，包括以下步驟：利用圖像分割算法對給定的原始訓練樣本集中的每幅圖像進行分割，每個分割子區域均由低層視覺特征表示，并定義每個分割子區域的語義概念，對分割子區域進行聚類，對不同類別的分割子區域的語義概念進行合并，得到具有新的語義概念的所有類別的分割子區域集合，將其作為待過濾訓練樣本集；通過前饋神經網絡對待過濾訓練樣本集進行分類，刪除分類錯誤的樣本，將剩余分類正確的樣本作為初始訓練樣本集；將每個初始訓練樣本用向量表示成粒子的位置，構成粒子群；按照量子粒子群優化方法優化粒子群，并輸出粒子的最優位置，對輸出粒子的每一維的值與閾值比較，小于閾值的取為0，大于等于閾值的取為1，與1對應的特征集合為所選擇的特征子集，得到經過特征選擇后的起點訓練樣本集；按照起點訓練樣本集自身的特性選擇分裂特征，用分裂特征分割起點訓練樣本集，得到若干訓練樣本子集，對分割后的每個訓練樣本子集，遞歸地獲得它的分裂特征，并再次用分裂特征分割訓練樣本子集，直到所有訓練樣本子集的元素屬于相同類為止，得到終點樣本子集；將起點樣本集到終點樣本子集的每條路徑轉換為一條標注規則，從起點樣本集到終點樣本子集的所有路徑構成的規則集就是規則庫。本專利技術所述的方法中，利用生成的規則庫對圖像進行標注的步驟為：將待標注的圖像通過分割算法得到多個分割子區域；提取每個分割子區域的低層視覺特征，按照預先選擇的特征子集重新表示分割子區域；根據預先生成的規則庫，將待標注圖像的特征子集輸入到規則庫，得到語義概念集，該語義概念集就是待標注圖像的語義。本專利技術所述的方法中，生成具有新的語義概念的所有類別的分割子區域集合的具體步驟為：對訓練樣本集中所有圖像的分割子區域按照低層視覺特征進行聚類；將具有相同類別的分割子區域的聚類中心作為該類別的代表，而將所有語義概念進行合并，得到該類別的語義概念集；將所獲得的具有新的語義概念的所有類別的分割子區域集合作為待過濾訓練樣本集，所有語義概念構成詞匯表。本專利技術所述的方法中，前饋神經網絡的輸入為待過濾訓練樣本集，前饋神經網絡的輸出為詞匯表。本專利技術所述的方法中，所述前饋神經網絡為多層前饋神經網絡。本專利技術還提供了一種面向圖像語義標注的規則庫結構優化與生成系統，該系統包括：去除噪聲樣本的過濾器，用于利用圖像分割算法對給定的原始訓練樣本集中的每幅圖像進行分割，每個分割子區域均由低層視覺特征表示，并定義每個分割子區域的語義概念，對分割子區域進行聚類，對不同類別的分割子區域的語義概念進行合并，得到具有新的語義概念的所有類別的分割子區域集合，將其作為待過濾訓練樣本集；通過前饋神經網絡對待過濾訓練樣本集進行分類，刪除分類錯誤的樣本，將剩余分類正確的樣本作為初始訓練樣本集；訓練樣本特征選擇模塊，用于將每個初始訓練樣本用向量表示成粒子的位置，構成粒子群；按照量子粒子群優化方法優化粒子群，并輸出粒子的最優位置，對輸出粒子的每一維的值與閾值比較，小于閾值的取為0，大于等于閾值的取為1，與1對應的特征集合為所選擇的特征子集，得到經過特征選擇后的起點訓練樣本集；規則庫生成模塊，用于按照起點訓練樣本集自身的特性選擇分裂特征，用分裂特征分割起點訓練樣本集，得到若干訓練樣本子集，對分割后的每個訓練樣本子集，遞歸地獲得它的分裂特征，并再次用分裂特征分割訓練樣本子集，直到所有訓練樣本子集的元素屬于相同類為止，得到終點樣本子集；該規則庫生成模塊還用于將起點樣本集到終點樣本子集的每條路徑轉換為一條標注規則，從起點樣本集到終點樣本子集的所有路徑構成的規則集就是規則庫。本專利技術產生的有益效果是：本專利技術通過去除圖像的原始訓練樣本集的噪聲，對用于優化規則庫結構的訓練樣本特征進行選擇，最后生成規則庫，從而實現圖像的語義標注，使用戶能夠從海量圖像中快速、有效地找到感興趣的圖像資源。附圖說明下面將結合附圖及實施例對本專利技術作進一步說明，附圖中：圖1是本專利技術實施例面向圖像語義標注的規則庫結構優化與生成方法的流程圖；圖2是圖1中步驟S1的具體流程圖；圖3是圖1中步驟S2的具體流程圖；圖4是圖1中步驟S3的具體流程圖；圖5是本專利技術實施例圖像語義的標注流程圖。具體實施方式為了使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本專利技術，并不用于限定本專利技術。本專利技術實施例的面向圖像語義標注的規則庫結構優化與生成方法主要包括以下步驟：用于去除噪聲樣本的過濾器設計、用于優化規則庫結構的訓練樣本特征選擇以及規則庫的生成。S1、用于去除噪聲樣本的過濾器設計利用計算機實現圖像自動語義標注能夠提高圖像檢索的性能，然而當訓練樣本集中存在較多噪聲時，用機器學習方法來標注圖像語義會導致標注結果不精確甚至錯誤。因此，需要對含噪聲的訓練樣本進行過濾處理。過濾器設計方法如下：步驟S11.對于給定的原始訓練樣本集，利用圖像分割算法對每幅圖像進行分割，獲得分割子區域集，人為定義每個分割子區域的語義概念。步驟S12.計算每個分割子區域的低層視覺特征，并進行規范化處理。步驟S13.對訓練樣本集中所有圖像的分割子區域按照低層視覺特征進行聚類——即相似的分割子區域劃為同一類。聚類后，將具有相同類別的分割子區域的聚類中心作為該類別的代表，而將它們的所有語義概念進行合并，得到該類別的語義概念集。此時，將所獲得的具有新的語義概念的所有類別的分割子區域集合作為待過本文檔來自技高網...

【技術保護點】
一種面向圖像語義標注的規則庫結構優化與生成方法，其特征在于，包括以下步驟：利用圖像分割算法對給定的原始訓練樣本集中的每幅圖像進行分割，每個分割子區域均由低層視覺特征表示，并定義每個分割子區域的語義概念，對分割子區域進行聚類，對不同類別的分割子區域的語義概念進行合并，得到具有新的語義概念的所有類別的分割子區域集合，將其作為待過濾訓練樣本集；通過前饋神經網絡對待過濾訓練樣本集進行分類，刪除分類錯誤的樣本，將剩余分類正確的樣本作為初始訓練樣本集；將每個初始訓練樣本用向量表示成粒子的位置，構成粒子群；按照量子粒子群優化方法優化粒子群，并輸出粒子的最優位置，對輸出粒子的每一維的值與閾值比較，小于閾值的取為0，大于等于閾值的取為1，與1對應的特征集合為所選擇的特征子集，得到經過特征選擇后的起點訓練樣本集；按照起點訓練樣本集自身的特性選擇分裂特征，用分裂特征分割起點訓練樣本集，得到若干訓練樣本子集，對分割后的每個訓練樣本子集，遞歸地獲得它的分裂特征，并再次用分裂特征分割訓練樣本子集，直到所有訓練樣本子集的元素屬于相同類為止，得到終點樣本子集；將起點樣本集到終點樣本子集的每條路徑轉換為一條標注規則，從起點樣本集到終點樣本子集的所有路徑構成的規則集就是規則庫。...

【技術特征摘要】
1.一種面向圖像語義標注的規則庫結構優化與生成方法，其特征在于，包括以下步驟：利用圖像分割算法對給定的原始訓練樣本集中的每幅圖像進行分割，每個分割子區域均由低層視覺特征表示，并定義每個分割子區域的語義概念，對分割子區域進行聚類，對不同類別的分割子區域的語義概念進行合并，得到具有新的語義概念的所有類別的分割子區域集合，將其作為待過濾訓練樣本集；通過前饋神經網絡對待過濾訓練樣本集進行分類，刪除分類錯誤的樣本，將剩余分類正確的樣本作為初始訓練樣本集；將每個初始訓練樣本用向量表示成粒子的位置，構成粒子群；按照量子粒子群優化方法優化粒子群，并輸出粒子的最優位置，對輸出粒子的每一維的值與閾值比較，小于閾值的取為0，大于等于閾值的取為1，與1對應的特征集合為所選擇的特征子集，得到經過特征選擇后的起點訓練樣本集；按照起點訓練樣本集自身的特性選擇分裂特征，用分裂特征分割起點訓練樣本集，得到若干訓練樣本子集，對分割后的每個訓練樣本子集，遞歸地獲得它的分裂特征，并再次用分裂特征分割起點訓練樣本子集，直到所有訓練樣本子集的元素屬于相同類為止，得到終點樣本子集；將起點訓練樣本集到終點樣本子集的每條路徑轉換為一條標注規則，從起點訓練樣本集到終點樣本子集的所有路徑構成的規則集就是規則庫。2.根據權利要求1所述的方法，其特征在于，利用生成的規則庫對圖像進行標注的步驟為：將待標注的圖像通過分割算法得到多個分割子區域；提取每個分割子區域的低層視覺特征，按照預先選擇的特征子集重新表示分割子區域；根據預先生成的規則庫，將待標注圖像的特征子集輸入到規則庫，得到語義概念集，該語義概念集就是待標注圖像的語義。3.根據權利要求1所述的方法，其特征在于，生成具有新的語義概念的所有類別的分割子區域集合的具體步驟為：對訓練樣本集中所有圖像的分割子區域按照低層視覺特征進行聚類；將...

【專利技術屬性】
技術研發人員：金聰，金樞煒，
申請(專利權)人：華中師范大學，
類型：發明
國別省市：湖北;42