一種紅外圖像序列顯著性檢測(cè)方法技術(shù)

本發(fā)明專利技術(shù)公開了一種紅外圖像序列顯著性檢測(cè)方法，首先，采用一種基于交互一致性引導(dǎo)的空間信息融合方法提取每幀紅外圖像的亮度和輪廓特征，并計(jì)算空域顯著性；其次，設(shè)計(jì)一種多幀對(duì)稱差分算法提取紅外序列的運(yùn)動(dòng)信息，并計(jì)算該幀圖像的時(shí)域顯著性；第三，設(shè)計(jì)一種自適應(yīng)融合策略，將空域顯著性和時(shí)域顯著性相結(jié)合；第四，為了均勻突顯紅外圖像序列中的時(shí)?空顯著性區(qū)域，提出一種多尺度融合方法，嵌入到時(shí)?空顯著性模型里，得到多尺度時(shí)?空顯著性圖；最后，設(shè)計(jì)了一種基于Gestalt理論的優(yōu)化算法，進(jìn)一步提高顯著性檢測(cè)結(jié)果的可靠性；本發(fā)明專利技術(shù)通過深入挖掘紅外圖像序列的時(shí)空特性，來實(shí)現(xiàn)視覺顯著性檢測(cè)，故可以獲得比傳統(tǒng)顯著性檢測(cè)方法更加精確的結(jié)果。

Infrared image sequence saliency detection method

The invention discloses a significant infrared image sequence detection method, firstly, using a spatial information interactive consistency guided fusion method and contour feature extraction the brightness of each frame based on infrared image, and calculate the spatial significance; secondly, the motion information extraction algorithm of infrared sequence design a symmetrical frame difference. The image and calculate the time significantly; third, design an adaptive fusion strategy, the spatial saliency and temporal saliency combination; fourth, in order to highlight the regional uniform when the significant space in infrared image sequence, this paper proposes a multi-scale fusion method, then was empty embedded in the model when the air get multi-scale saliency map; finally, design a kind of optimization algorithm based on Gestalt theory, to further improve the reliability of significant test results of the invention; Through deep mining the temporal and spatial characteristics of infrared image sequences to achieve visual saliency detection, we can get more accurate results than the traditional saliency detection methods.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種紅外圖像序列顯著性檢測(cè)方法
本專利技術(shù)涉及一種基于時(shí)-空顯著性自適應(yīng)融合的紅外圖像序列顯著性檢測(cè)方法，屬于圖像處理和計(jì)算機(jī)視覺

技術(shù)介紹
視覺注意(顯著性)是人類視覺系統(tǒng)的一個(gè)重要機(jī)制：盡管人類的眼睛在面對(duì)自然場(chǎng)景時(shí)可以捕獲大量的視覺信息，但是人類有限的視覺細(xì)胞僅僅關(guān)注的是場(chǎng)景中最為顯著的區(qū)域。人類視覺系統(tǒng)的這個(gè)機(jī)制吸引了包括心理學(xué)、認(rèn)知神經(jīng)學(xué)、計(jì)算機(jī)科學(xué)等眾多領(lǐng)域的學(xué)者的研究興趣。目前，在計(jì)算機(jī)視覺領(lǐng)域，人們提出了各種各樣的計(jì)算模型，來模擬視覺顯著性，并將這些模型應(yīng)用于計(jì)算機(jī)視覺和模式識(shí)別的眾多領(lǐng)域，如：圖像/視頻壓縮、圖像/視頻分割、目標(biāo)檢測(cè)和識(shí)別、運(yùn)動(dòng)目標(biāo)跟蹤等。現(xiàn)階段，視覺顯著性模型從應(yīng)用對(duì)象角度可以分為兩類：?jiǎn)螏瑘D像的視覺顯著性檢測(cè)模型、視頻序列的視覺顯著性檢測(cè)模型。前者主要提取的是單幀圖像的空域顯著性，而后者不僅要提取空域顯著性，還要提取時(shí)域顯著性，這樣計(jì)算得到的顯著性圖(即時(shí)-空顯著性圖)才能適合于視頻序列應(yīng)用的需求。盡管，現(xiàn)在人們已經(jīng)提出一些時(shí)-空顯著性圖計(jì)算模型，但是，這些模型大都是針對(duì)普通光學(xué)圖像序列的。直接將這些模型應(yīng)用于紅外圖像序列，很難得到較為滿意的結(jié)果。原因如下：首先，鑒于紅外圖像特殊的成像機(jī)理，在一般可見光圖像(序列)顯著性模型里常用的顏色、紋理、方向等特征，在紅外圖像中不明顯，導(dǎo)致這些特征無法使用。其次，鑒于紅外圖像(序列)的應(yīng)用場(chǎng)合(多為軍事應(yīng)用或民用視頻監(jiān)控等)，采集得到的紅外圖像(序列)中背景一般較為復(fù)雜，例如：背景含有海面雜波、云層雜波、背景干擾等。此時(shí)，顯著性目標(biāo)易于淹沒在這些背景中，導(dǎo)致顯著性檢測(cè)難度變大。由此可見，針對(duì)紅外圖像序列，設(shè)計(jì)一種適合于它的魯棒性、準(zhǔn)確性顯著性檢測(cè)模型，不僅十分迫切，而且具有挑戰(zhàn)性。
技術(shù)實(shí)現(xiàn)思路
專利技術(shù)目的：針對(duì)現(xiàn)有技術(shù)面向紅外圖像序列顯著性檢測(cè)問題時(shí)所存在的問題，本專利技術(shù)提出一種通過提取紅外圖像序列的亮度對(duì)比度顯著性、輪廓顯著性、時(shí)域顯著性等，并將它們進(jìn)行自適應(yīng)融合，同時(shí)利用多尺度思想和格式塔(Gestalt)理論進(jìn)一步增強(qiáng)和優(yōu)化顯著性圖的紅外圖像序列顯著性檢測(cè)方法。技術(shù)方案：一種紅外圖像序列顯著性檢測(cè)方法，包括如下步驟：(A)采用一種基于交互一致性引導(dǎo)的空間信息融合方法提取每幀紅外圖像的亮度和輪廓特征，并計(jì)算空域顯著性。其中，基于亮度對(duì)比度的顯著性計(jì)算包括：首先，針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算位置l處的亮度對(duì)比度顯著性其中，Ωc是l的鄰域，Ωs是l周圍的環(huán)形區(qū)域；其次，為了確保僅包含紅外目標(biāo)的區(qū)域是顯著度，降低背景雜波干擾，設(shè)計(jì)一個(gè)校正函數(shù)f(α)＝|α|γ，其中，γ≥1，γ為常數(shù)，來控制對(duì)比度增益，得到：基于輪廓的顯著性計(jì)算包括：首先，針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算它的梯度幅度Gt；其次，為了消除噪聲的輪廓片段，得到更加魯棒的輪廓顯著性圖，采用上述校正函數(shù)對(duì)梯度幅度Gt進(jìn)行改進(jìn)，得到改進(jìn)后的輪廓顯著性圖：基于交互一致性的空域顯著性融合包括：首先，通過上述兩步得到原始紅外圖像亮度對(duì)比度顯著性圖和輪廓顯著性圖后，計(jì)算它們之間的交互一致性：其中，是相對(duì)于的一致性，是相對(duì)于的一致性。其次，根據(jù)一致性，分別計(jì)算和的融合權(quán)值：其中，和滿足第三，根據(jù)權(quán)值，將和進(jìn)行融合，得到融合后的空域顯著性圖：(B)設(shè)計(jì)一種多幀對(duì)稱差分算法提取紅外序列的運(yùn)動(dòng)信息，并計(jì)算該幀圖像的時(shí)域顯著性。首先，假設(shè)紅外視頻序列的第t幀圖像是It，第t-1幀圖像是It-1，這兩幀圖像的幀間差分為Vt,t-1＝|It-It-1|；其次，對(duì)于一個(gè)紅外視頻序列，將幀間差分Vt,t-1看做是連續(xù)兩幀之間的變化區(qū)域，將視頻中的運(yùn)行目標(biāo)定義為T，則Vt,t-1又表示為連續(xù)兩幀中運(yùn)動(dòng)目標(biāo)的合并。假設(shè)Tt是t時(shí)刻的運(yùn)動(dòng)目標(biāo)，則Vt,t-1表示為：Vt,t-1＝Tt∪Tt-1第三，由上面這個(gè)公式計(jì)算得到的兩個(gè)連續(xù)變化區(qū)域的交疊即為運(yùn)動(dòng)目標(biāo)：Vt,t-1∩Vt,t+1＝(Tt∪Tt-1)∩(Tt∪Tt+1)＝Tt第四，由Vt,t-1＝|It-It-1|和Vt,t-1∩Vt,t+1＝(Tt∪Tt-1)∩(Tt∪Tt+1)＝Tt兩個(gè)公式，運(yùn)動(dòng)目標(biāo)Tt可以進(jìn)一步推導(dǎo)為：Tt＝|It-It-1|∩|It-It+1|第五，考慮到上述以對(duì)稱差分結(jié)果表示的運(yùn)動(dòng)目標(biāo)Tt容易受到隨機(jī)噪聲和背景雜波的干擾，進(jìn)一步對(duì)其進(jìn)行修改，得到改進(jìn)后的顯著性運(yùn)動(dòng)目標(biāo)Tt：此時(shí)，該多幀對(duì)稱差分結(jié)果Tt即所求得的時(shí)域顯著性圖。(C)設(shè)計(jì)一種自適應(yīng)融合策略，將空域顯著性St和時(shí)域顯著性Tt相結(jié)合。首先，定義一個(gè)測(cè)量標(biāo)準(zhǔn)M，用于識(shí)別不同類型的運(yùn)動(dòng)，如：快速運(yùn)動(dòng)、慢速運(yùn)動(dòng)、無運(yùn)動(dòng)等：其中，和分別表示Tt的均值和標(biāo)準(zhǔn)差；c是預(yù)先定義好的參數(shù)，取值范圍為c∈(0.5,1)。其次，基于測(cè)量標(biāo)準(zhǔn)M，將空域顯著性St和時(shí)域顯著性Tt通過如下公式進(jìn)行自適應(yīng)融合：(D)為了均勻突顯紅外圖像序列中的時(shí)-空顯著性區(qū)域，提出一種多尺度融合方法，嵌入到時(shí)-空顯著性模型里，得到多尺度時(shí)-空顯著性圖。首先，計(jì)算不同尺度下的時(shí)-空顯著性圖其中r∈R表示尺度因子，R為{1,0.7,0.4}。其次，將不同尺度下求得的時(shí)-空顯著性圖進(jìn)行融合，得到多尺度時(shí)-空顯著性圖：其中，C＝[Σr∈Rr2]-1為歸一化因子。(E)為了進(jìn)一步優(yōu)化步驟(D)計(jì)算得到的多尺度時(shí)-空顯著性圖即提高顯著性圖的穩(wěn)健性、準(zhǔn)確性、及完整性，提出一種基于格式塔(Gestalt)理論的優(yōu)化算法。該算法的指導(dǎo)思想即對(duì)于顯著圖上的一個(gè)元素，靠近它的元素對(duì)它的顯著性有較強(qiáng)的影響，遠(yuǎn)離它的元素對(duì)它的顯著性的影響較弱。據(jù)此，設(shè)l是顯著圖上的一個(gè)元素，ΩN是它的一個(gè)鄰域，則改進(jìn)后的時(shí)-空顯著性圖可以通過下式計(jì)算得到：其中，為加權(quán)核函數(shù)。本專利技術(shù)采用上述技術(shù)方案，具有以下有益效果：本專利技術(shù)的方法是在仔細(xì)分析紅外圖像序列特性以后所涉及的，它提出計(jì)算亮度對(duì)比度顯著性、輪廓顯著性、及運(yùn)動(dòng)顯著性，都切合紅外圖像序列的特點(diǎn)，因此，計(jì)算得到的顯著圖有效且魯棒；本專利技術(shù)設(shè)計(jì)了多尺度融合策略及基于格式塔(Gestalt)理論的優(yōu)化策略，都分別進(jìn)一步提高顯著性檢測(cè)的準(zhǔn)確性，同時(shí)保證檢測(cè)得到的顯著性目標(biāo)的完整性。附圖說明圖1為本專利技術(shù)實(shí)施例的框架圖；圖2為本專利技術(shù)亮度對(duì)比度模型計(jì)算示意圖。具體實(shí)施方式下面結(jié)合具體實(shí)施例和附圖，對(duì)本專利技術(shù)的技術(shù)方案作進(jìn)一步解釋，應(yīng)理解本實(shí)施例僅用于說明本專利技術(shù)而不用于限制本專利技術(shù)的范圍，在閱讀了本專利技術(shù)之后，本領(lǐng)域技術(shù)人員對(duì)本專利技術(shù)的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。如圖1所示，首先，計(jì)算紅外圖像序列的空域顯著性，具體包括如下三個(gè)步驟：步驟(1)基于亮度對(duì)比度的顯著性計(jì)算(1-1)針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算位置l處的亮度對(duì)比度顯著性其中，Ωc是l的鄰域，Ωs是l周圍的環(huán)形區(qū)域，如圖2所示。(1-2)為了確保僅包含紅外目標(biāo)的區(qū)域是顯著度，降低背景雜波干擾，設(shè)計(jì)一個(gè)校正函數(shù)f(α)＝|α|γ(其中，γ≥1是一個(gè)常數(shù))來控制對(duì)比度增益，得到：步驟(2)基于輪廓的顯著性計(jì)算(2-1)針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算它的梯度幅度Gt；(2-2)為了消除噪聲的輪廓片段，得到更加魯棒的輪廓顯著性圖，采用上述校正函數(shù)對(duì)梯度幅度Gt進(jìn)行改進(jìn)，得到改進(jìn)后的輪廓顯著性圖本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種紅外圖像序列顯著性檢測(cè)方法，其特征在于，包括如下步驟：(A)采用一種基于交互一致性引導(dǎo)的空間信息融合方法提取每幀紅外圖像的亮度和輪廓特征，并計(jì)算空域顯著性S

【技術(shù)特征摘要】
1.一種紅外圖像序列顯著性檢測(cè)方法，其特征在于，包括如下步驟：(A)采用一種基于交互一致性引導(dǎo)的空間信息融合方法提取每幀紅外圖像的亮度和輪廓特征，并計(jì)算空域顯著性St；(B)設(shè)計(jì)一種多幀對(duì)稱差分算法提取紅外序列的運(yùn)動(dòng)信息，并計(jì)算該幀圖像的時(shí)域顯著性Tt；(C)設(shè)計(jì)一種自適應(yīng)融合策略，將空域顯著性St和時(shí)域顯著性Tt相結(jié)合；(D)提出一種多尺度融合方法，嵌入到時(shí)-空顯著性模型里，得到多尺度時(shí)-空顯著性圖(E)基于格式塔理論對(duì)多尺度時(shí)-空顯著性圖進(jìn)行優(yōu)化，具體步驟為：設(shè)l是多尺度時(shí)-空顯著性圖上的一個(gè)元素，ΩN是它的一個(gè)鄰域，通過下式計(jì)算得到改進(jìn)后的時(shí)-空顯著性圖：其中，為加權(quán)核函數(shù)。2.根據(jù)權(quán)利要求1所述的新的紅外圖像序列顯著性檢測(cè)方法，其特征在于，步驟(A)包括：(A1)基于亮度對(duì)比度的顯著性計(jì)算；首先，針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算位置l處的亮度對(duì)比度顯著性其中，Ωc是l的鄰域，Ωs是l周圍的環(huán)形區(qū)域；其次，設(shè)計(jì)校正函數(shù)f(α)＝|α|γ控制對(duì)比度增益，γ為常數(shù)且γ≥1，得到：(A2)基于輪廓的顯著性計(jì)算；首先，針對(duì)紅外圖像序列的第t幀圖像It，計(jì)算梯度幅度Gt；其次，采用上述校正函數(shù)對(duì)梯度幅度Gt進(jìn)行改進(jìn)，得到改進(jìn)后的輪廓顯著性圖：(A3)基于交互一致性的空域顯著性融合；首先，通過上述兩步得到原始紅外圖像亮度對(duì)比度顯著性圖和輪廓顯著性圖后，計(jì)算其交互一致性：其中，是相對(duì)于的一致性；是相對(duì)于的一致性；其次，根據(jù)一致性，分別計(jì)算和的融合權(quán)值：...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：寧晨，曾毓敏，
申請(qǐng)(專利權(quán))人：南京師范大學(xué)，
類型：發(fā)明
國(guó)別省市：江蘇,32