本發(fā)明專利技術(shù)公開了一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，包括將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；將所述語義詞向量與特征詞向量進(jìn)行詞向量融合，得到二級(jí)語義詞向量；將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照；當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。本申請(qǐng)通過創(chuàng)新使用卷積神經(jīng)網(wǎng)絡(luò)與混合推薦，使系統(tǒng)對(duì)圖像的自然語言解析更自然，更貼近我們基于本能的理解能力，并且能對(duì)不同的對(duì)象呈現(xiàn)不同的表達(dá)，即生成個(gè)性化語義分析。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法、裝置及設(shè)備
本專利技術(shù)涉及圖像語義分析領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
技術(shù)介紹
隨著信息時(shí)代的來臨，與日俱增的多媒體數(shù)據(jù)出現(xiàn)在人們?nèi)粘５墓ぷ髦小⑸钪小Ｔ谌藗內(nèi)粘５慕涣髦校瑘D像，音頻，視頻等作為主要的媒介，其中圖像數(shù)據(jù)是人們信息溝通、情感表達(dá)的重要工具。圖像數(shù)據(jù)從視覺上更加直觀，情感表達(dá)上更加豐富。正是因?yàn)檫@樣，人們?cè)诨ヂ?lián)網(wǎng)上進(jìn)行上傳、下載的圖像數(shù)據(jù)日益增加，這些大量的圖像數(shù)據(jù)需要進(jìn)行妥善的管理和存儲(chǔ)，如何將圖像自動(dòng)的轉(zhuǎn)化為我們熟悉的自然語言，便于各樣理解與利用。同時(shí)，這些圖像數(shù)據(jù)具有很大的挖掘價(jià)值，但它們大都沒有標(biāo)簽批注，很難對(duì)其進(jìn)行分類，所以需要對(duì)這些數(shù)據(jù)進(jìn)行有效的自然語言轉(zhuǎn)譯。人工對(duì)圖像數(shù)據(jù)進(jìn)行自然語言標(biāo)注，不僅消耗大量的時(shí)間和精力，同時(shí)效率也極其低下。因此，采用自動(dòng)化的方式對(duì)圖像數(shù)據(jù)進(jìn)行自然語言轉(zhuǎn)譯等有效的管理和使用，一直是圖像領(lǐng)域研究的人們?cè)掝}。近年來，對(duì)圖像數(shù)據(jù)進(jìn)行自然語言轉(zhuǎn)譯領(lǐng)域，雖有一些技術(shù)方案，比如基于深度學(xué)習(xí)的圖像推薦系統(tǒng)，或圖像自然語言描述，可依舊存在圖像信號(hào)噪聲大致使生成結(jié)果不準(zhǔn)確和無法針對(duì)不同對(duì)象生成不同的個(gè)性化描述的問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的是提供一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中圖像語義分析表達(dá)生硬，且對(duì)不同對(duì)象生成的表達(dá)類似的問題。為解決上述技術(shù)問題，本專利技術(shù)提供一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，包括：將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；將所述語義詞向量與特征詞向量進(jìn)行詞向量融合，得到二級(jí)語義詞向量；將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照；當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。可選的，在將所述二級(jí)語義詞向量與輸出環(huán)境的先驗(yàn)集進(jìn)行對(duì)照之后，還包括：當(dāng)所述二級(jí)語義詞向量不全在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，對(duì)所述二級(jí)語義詞向量進(jìn)行中文分詞替換或去掉不在所述先驗(yàn)集范圍內(nèi)的詞向量分量，輸出處理后的詞向量，得到圖像語義的分析結(jié)果。可選的，在將所述二級(jí)語義詞向量與輸出環(huán)境的先驗(yàn)集進(jìn)行對(duì)照之后，還包括：當(dāng)所述二級(jí)語義詞向量不在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，將所述二級(jí)語義詞向量舍棄，并報(bào)錯(cuò)。可選的，所述將所述語義詞向量與特征詞向量進(jìn)行詞向量融合包括：將所述語義詞向量與通過深度學(xué)習(xí)的推薦系統(tǒng)策略得出的特征詞向量進(jìn)行詞向量融合。可選的，所述將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換包括：將所述一級(jí)語義向量通過長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行序列到序列的轉(zhuǎn)換。可選的，在所述得到圖像語義的分析結(jié)果之后，還包括：輸出所述二級(jí)語義詞向量與先驗(yàn)集的匹配程度百分?jǐn)?shù)。本專利技術(shù)還提供了一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析裝置，包括：卷積神經(jīng)模塊，用于將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；相似度計(jì)算模塊，用于將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；序列轉(zhuǎn)換模塊，用于將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；融合模塊，用于將所述語義詞向量與通過深度學(xué)習(xí)的推薦系統(tǒng)策略得出的特征詞向量，進(jìn)行詞向量融合，得到二級(jí)語義詞向量；對(duì)照模塊，用于將所述二級(jí)語義詞向量與輸出環(huán)境的先驗(yàn)集進(jìn)行對(duì)照，當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。可選的，所述對(duì)照模塊還用于：當(dāng)所述二級(jí)語義詞向量不全在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，對(duì)所述二級(jí)語義詞向量進(jìn)行中文分詞替換或去掉不在所述先驗(yàn)集范圍內(nèi)的詞向量分量，輸出處理后的詞向量，得到圖像語義的分析結(jié)果。本專利技術(shù)一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的步驟。本專利技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求上述任一項(xiàng)所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的步驟。本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，通過將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；將所述語義詞向量與特征詞向量進(jìn)行詞向量融合，得到二級(jí)語義詞向量；將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照；當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。本申請(qǐng)通過在圖像數(shù)據(jù)進(jìn)行序列到序列的轉(zhuǎn)換前，先通過卷積網(wǎng)絡(luò)生成可以表示圖像的緊致的高層語義信息，提升了語義分析的準(zhǔn)確度，同時(shí)通過加入混合推薦，使經(jīng)序列到序列的轉(zhuǎn)換后得到的語義詞向量能針對(duì)不同對(duì)象呈現(xiàn)不同的表達(dá)，實(shí)現(xiàn)圖像的個(gè)性化語義分析。本申請(qǐng)還提供了一種具有上述技術(shù)優(yōu)點(diǎn)的裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。附圖說明為了更清楚的說明本專利技術(shù)實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單的介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術(shù)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式1的流程圖；圖2為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式2的流程圖；圖3為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式3的流程圖；圖4為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式4的流程圖；圖5為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式5的流程圖；圖6為本專利技術(shù)所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法的具體實(shí)施方式6的流程圖；圖7為本專利技術(shù)實(shí)施例所提供的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析裝置的結(jié)構(gòu)框圖。具體實(shí)施方式本申請(qǐng)中的“個(gè)性化語義分析方法”，具體是指針對(duì)不同對(duì)象，能結(jié)合對(duì)象特點(diǎn)給出不同的語義分析。在現(xiàn)代生活中，圖像數(shù)據(jù)正越來越多的出現(xiàn)在人們的日常會(huì)話與情感表達(dá)中，人們?cè)谔幚砣绱她嫶蟮膱D像數(shù)據(jù)時(shí)不可避免地要面對(duì)兩個(gè)問題，一是如此龐大的數(shù)據(jù)如何歸類存儲(chǔ)，如果動(dòng)用人力為圖像手動(dòng)添加標(biāo)簽進(jìn)行歸類恐怕難以勝任，二是如何挖掘這些圖像數(shù)據(jù)背后的價(jià)值，通過對(duì)人們發(fā)送的圖像數(shù)據(jù)的解析，不難得出人們眼中的關(guān)注點(diǎn)。問題一要求系統(tǒng)對(duì)圖像的語義分析更加精準(zhǔn)，能準(zhǔn)確分析出圖像內(nèi)容，自動(dòng)添加標(biāo)簽進(jìn)行分類，問題二要求系統(tǒng)能夠根據(jù)具體需求對(duì)不同對(duì)象導(dǎo)出不同結(jié)果，舉例來說，使用者想知道現(xiàn)在市場(chǎng)上最受歡迎的寵物狗是什么種類，則系統(tǒng)在分析海量圖像數(shù)據(jù)時(shí)，提取的分析結(jié)果要在一定程度上凸顯圖像中的狗的種類的描述，即實(shí)現(xiàn)對(duì)不同對(duì)象的個(gè)性化表達(dá)。為了使本
的人員更好地理解本專利技術(shù)方案，下面結(jié)合附圖和具體實(shí)施方式對(duì)本專利技術(shù)作進(jìn)一步的詳細(xì)說明。顯然，所描述的實(shí)施例僅僅是本專利技術(shù)一本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，包括：將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；將所述語義詞向量與特征詞向量進(jìn)行詞向量融合，得到二級(jí)語義詞向量；將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照；當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。
【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，包括：將原始圖像信號(hào)導(dǎo)入卷積網(wǎng)絡(luò)，生成高層抽象語義向量；將所述高層抽象語義向量進(jìn)行相似度計(jì)算，得到一級(jí)語義向量；將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換，輸出轉(zhuǎn)換后的語義詞向量；將所述語義詞向量與特征詞向量進(jìn)行詞向量融合，得到二級(jí)語義詞向量；將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照；當(dāng)所述二級(jí)語義詞向量在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，輸出所述二級(jí)語義詞向量，得到圖像語義的分析結(jié)果。2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，在將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照之后，還包括：當(dāng)所述二級(jí)語義詞向量不全在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，對(duì)所述二級(jí)語義詞向量進(jìn)行中文分詞替換或去掉不在所述先驗(yàn)集范圍內(nèi)的詞向量分量，輸出處理后的詞向量，得到圖像語義的分析結(jié)果。3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，在將所述二級(jí)語義詞向量與先驗(yàn)集進(jìn)行對(duì)照之后，還包括：當(dāng)所述二級(jí)語義詞向量不在先驗(yàn)集限定的語義風(fēng)格因子范圍內(nèi)時(shí)，將所述二級(jí)語義詞向量舍棄，并報(bào)錯(cuò)。4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，所述將所述語義詞向量與特征詞向量進(jìn)行詞向量融合包括：將所述語義詞向量與通過深度學(xué)習(xí)的推薦系統(tǒng)策略得出的特征詞向量進(jìn)行詞向量融合。5.如權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像個(gè)性化語義分析方法，其特征在于，所述將所述一級(jí)語義向量進(jìn)行序列到序列的轉(zhuǎn)換包括：將所述一級(jí)語義向量通過長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行序列到序列的轉(zhuǎn)換。6.如權(quán)利要求1、2、4、5中任一項(xiàng)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：何立健，林穗，翁海瑞，
申請(qǐng)(專利權(quán))人：廣東工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：廣東,44
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。