【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉環(huán)境感知，具體而言，涉及一種全景聲成像方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、隨著mems傳感技術(shù)、人工智能技術(shù)及智能處理器的迅猛發(fā)展，局部視覺(jué)和全向聽覺(jué)的感知范圍已難以滿足人們對(duì)真實(shí)世界的感知需求。全景聲成像作為下一代環(huán)境感知技術(shù)，不僅能夠同時(shí)提供全景光像和聲像，還具備高分辨率、無(wú)盲區(qū)、小型化及多維智能感知的優(yōu)勢(shì)。結(jié)合人工智能方法，這項(xiàng)技術(shù)可為下一代智能傳感器實(shí)現(xiàn)360°全方位、多維度的環(huán)境感知奠定基礎(chǔ)。
2、目前，在全景聲圖像生成過(guò)程中，主要通過(guò)平面型傳聲器陣列獲取分段區(qū)域的聲像圖，并將其拼接生成全景聲像。然而，在實(shí)際動(dòng)態(tài)變化的聲學(xué)環(huán)境中，該方法采用的圖像配準(zhǔn)機(jī)制和分段拼接技術(shù)無(wú)法實(shí)現(xiàn)單幀快速全景聲成像，難以滿足快速、實(shí)時(shí)全景聲成像的需求，同時(shí)成像的空間分辨率較低。
技術(shù)實(shí)現(xiàn)思路
1、本公開實(shí)施例至少提供一種全景聲成像方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，可以滿足快速、實(shí)時(shí)全景聲成像的需求，同時(shí)成像的空間分辨率較高。
2、本公開實(shí)施例提供了一種全景聲成像方法，包括：
3、通過(guò)球形傳聲器陣列采集待成像區(qū)域的聲信號(hào)；
4、獲取所述聲信號(hào)對(duì)應(yīng)的頻域信號(hào)，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)；
5、提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像；
6、通過(guò)環(huán)繞分布的攝像頭采集待成像區(qū)域的全景光學(xué)圖像，并將所述全景聲像與所述全景光
7、一種可選的實(shí)施方式中，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)，具體包括：
8、根據(jù)所述聲信號(hào)對(duì)應(yīng)的聲源聲壓信號(hào)向量、導(dǎo)向矩陣以及傳聲器對(duì)應(yīng)的噪聲向量，構(gòu)建所述球形傳聲器陣列對(duì)應(yīng)的接收信號(hào)模型；
9、根據(jù)球諧波基函數(shù)矩陣以及球諧波基函數(shù)矩陣，確定所述導(dǎo)向矩陣的球諧波表示；
10、采用所述導(dǎo)向矩陣的球諧波表示替換所述接收信號(hào)模型中的所述導(dǎo)向矩陣，以將所述聲源聲壓信號(hào)向量轉(zhuǎn)換至球諧波域中，確定所述球諧波系數(shù)。
11、一種可選的實(shí)施方式中，所述導(dǎo)向矩陣表示所述聲信號(hào)對(duì)應(yīng)的聲源到傳聲器的方向性關(guān)系；
12、所述球諧波基函數(shù)矩陣用于表示傳聲器位置；
13、所述球諧波基函數(shù)矩陣用于表示聲源方向。
14、一種可選的實(shí)施方式中，提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像，具體包括：
15、將所述球諧波系數(shù)輸入至全卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)頻域上的卷積核提取不同階的所述球諧波域特征；
16、將所述球諧波域特征映射至所述全景空間網(wǎng)格上，確定空間-頻率偽譜；
17、針對(duì)每個(gè)子頻帶上的所述空間-頻率偽譜進(jìn)行平均處理，生成所述全景聲像。
18、一種可選的實(shí)施方式中，在所述球形傳聲器陣列中，采用多個(gè)單向矢量傳聲器均勻分布呈球形陣列。
19、一種可選的實(shí)施方式中，將所述球諧波域特征映射至所述全景空間網(wǎng)格上，確定空間-頻率偽譜，具體包括：
20、將所述全卷積神經(jīng)網(wǎng)絡(luò)中最后一層輸出的所述球諧波域特征，沿頻率軸旋轉(zhuǎn)，以將特征維度與空間維度進(jìn)行轉(zhuǎn)置；
21、在將特征維度與空間維度進(jìn)行轉(zhuǎn)置后，通過(guò)卷積層與激活函數(shù)的處理，確定所述空間-頻率偽譜。
22、本公開實(shí)施例還提供一種全景聲成像裝置，包括：
23、聲信號(hào)采集模塊，用于通過(guò)球形傳聲器陣列采集待成像區(qū)域的聲信號(hào)；
24、球諧波系數(shù)確定模塊，用于獲取所述聲信號(hào)對(duì)應(yīng)的頻域信號(hào)，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)；
25、聲像生成模塊，用于提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像；
26、光和聲像生成模塊，用于通過(guò)環(huán)繞分布的攝像頭采集待成像區(qū)域的全景光學(xué)圖像，并將所述全景聲像與所述全景光學(xué)圖像融合，生成待成像區(qū)域的目標(biāo)全景光和聲像。
27、本公開實(shí)施例還提供一種電子設(shè)備，包括：處理器、存儲(chǔ)器和總線，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行上述全景聲成像方法，或上述全景聲成像方法中任一種可能的實(shí)施方式中的步驟。
28、本公開實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行上述全景聲成像方法，或上述全景聲成像方法中任一種可能的實(shí)施方式中的步驟。
29、本公開實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序、指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述全景聲成像方法，或上述全景聲成像方法中任一種可能的實(shí)施方式中的步驟。
30、本公開實(shí)施例提供的一種全景聲成像方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)球形傳聲器陣列采集待成像區(qū)域的聲信號(hào)；獲取所述聲信號(hào)對(duì)應(yīng)的頻域信號(hào)，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)；提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像；通過(guò)環(huán)繞分布的攝像頭采集待成像區(qū)域的全景光學(xué)圖像，并將所述全景聲像與所述全景光學(xué)圖像融合，生成待成像區(qū)域的目標(biāo)全景光和聲像。可以滿足快速、實(shí)時(shí)全景聲成像的需求，同時(shí)成像的空間分辨率較高。
31、為使本公開的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種全景聲成像方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)，具體包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像，具體包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述球諧波域特征映射至所述全景空間網(wǎng)格上，確定空間-頻率偽譜，具體包括：
7.一種全景聲成像裝置，其特征在于，包括：
8.一種電子設(shè)備，其特征在于，包括：處理器、存儲(chǔ)器和總線，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1至6中任一項(xiàng)所述的全景聲成像方法的步驟。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程
10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，其特征在于，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的全景聲成像方法的步驟。
...【技術(shù)特征摘要】
1.一種全景聲成像方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)所述頻域信號(hào)進(jìn)行球諧波變換，將所述聲信號(hào)分解為球諧波系數(shù)，具體包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取所述球諧波系數(shù)對(duì)應(yīng)的球諧波域特征，并根據(jù)所述球諧波域特征以及全景空間網(wǎng)格生成待成像區(qū)域的全景聲像，具體包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述球諧波域特征映射至所述全景空間網(wǎng)格上，確定空間-頻率偽譜，具體包括：
7.一種全景聲成像裝置...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張文瓊，
申請(qǐng)(專利權(quán))人：北京聲譜科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。