一種聲像聯合定位的遠距離語音采集裝置制造方法及圖紙

針對遠距離、噪聲背景下語音采集的難點，結合視頻攝像頭、麥克風陣列進行聲像聯合確定目標說話人，從而解決單純使用攝像頭、高指向性麥克風或麥克風陣列存在的目標說話人確定困難、需機械轉動裝置等問題，本發明專利技術提出結合監控攝像頭、麥克風陣列波束成形技術的一種語音采集裝置進行聲像聯合確定目標說話人定位，從而改善環境噪聲條件下室外遠距離語音增強采集的性能。

Remote sound collecting device with sound image combined positioning

Aiming at the problem of speech distance and background noise acquisition, imaging to determine the target speaker with a video camera, microphone array, so as to solve the simple use of camera, pointing to the existence of high target speaker microphone or microphone array is difficult to determine, mechanical rotary device, the invention provides a voice acquisition device with surveillance cameras and microphones array beam forming technology of ultrasonic combined to determine the target speaker localization, so as to improve the acquisition performance under ambient noise conditions of outdoor long distance speech enhancement.

【技術實現步驟摘要】
一種聲像聯合定位的遠距離語音采集裝置
本專利技術涉及一種語音采集裝置，尤其是涉及一種聲像聯合定位的遠距離語音采集裝置。
技術介紹
在安保、安防等領域，各類視頻監控系統已經得到廣泛應用。依托各類視頻監控系統，可以對遠距離視頻中相關人員進行確認、甄別。在利用視頻監控系統進行遠距離嫌疑人確認、甄別時如能通過遠距離語音采集利用語言、對話信息，將可大大影響了工作效率。但在實際環境背景噪聲條件下進行遠距離語音采集仍具有極高難度。由于環境噪聲的存在，遠距離語音采集時必須利用采集裝置的高指向性來保證采集的遠距離語音質量。目前的遠距離語音采集裝置主要采用干涉管結構的槍式麥克風形成高指向性。如中國專利ZL2010101269089公開一種拾音裝置，其包括：容置體、第一壓電元件、第二壓電元件及電路單元，該容置體具有拾音口，該第壓電元件設置于容置體內，以感測高頻聲波的振動而轉換輸出信號，該第二壓電元件設置于容置體內，以感測低頻聲波的振動而轉換輸出信號，該電路單元電連接于第一壓電元件及第二壓電元件，以接收第一壓電元件及第二壓電元件的信號，并進行處理產生聲音信號；因此，具有較好的感測靈敏度及較寬廣的音頻，可提升音質。中國專利ZL2010591158.2公開了一種視頻定位的長距離拾音裝置，通過在以攝像機為中心的圓周安裝2個內置指向麥克風的聲聚焦結構桶體形成高指向性，結合桶體側壁外安裝2個拾取環境噪聲的全向麥克風獲取參考噪聲，聲聚焦結構桶體隨攝像頭轉動，操作人員根據視頻圖像內容進行視頻定位后該裝置只獲取與攝像頭同方向的語音信號，并利用數字信號處理器進行自適應降噪處理。但由于上述形成高指向性的遠距離語音采集裝置均只能在裝置正前方形成固定的高指向性波束，在實際使用中需通過裝置的轉動來對準運動的遠距離說話人目標，增加了額外的機械機械隨動控制成本；同時，考慮到視頻監控對遠距離目標具有較大視場，從遠距離視頻圖像中隨可通過對焦看到人像，但往往無法直接鑒別、發現說話動作，導致視頻攝像頭和遠距離拾音裝置進行機械移動對準目標說話人時存在不易同步的問題，也將造成監控系統設計使用上的不方便。麥克風陣列由多個麥克風按照一定拓撲結構組成，可通過波束成形算法對不同方向上的信號形成不同響應，也即陣列的空間指向特性，使陣列麥克風具有聲源定位和跟蹤、語音提取和分離以及去噪等功能，從而提高在復雜背景下的語音信號質量，彌補孤立麥克風無法獲取和利用空間信息的缺陷，并可避免采用機械轉動裝置來對準目標說話人。中國專利ZL2013102011025公開一種遠距離語音識別中的模型域補償新方法，該方法針對麥克風陣列在室內遠距離語音采集和識別中的困難提出模擬室內的混響聲學環境，并通過輸入的室內空間尺寸生成不同位置的房間沖擊響應序列，從而在模型域進行室內遠距離語音的補償提高采集和識別處理性能。但對于安保、安防等領域的室外場景遠距離語音采集場合，所需進行語音采集的說話人對象距離遠大于室內應用場景，且存在嚴重的環境噪聲。此時，單純依靠麥克風陣列算法很難獲得說話人方向從而進行語音增強和采集。
技術實現思路
針對遠距離、噪聲背景下語音采集的難點，結合視頻攝像頭、麥克風陣列進行聲像聯合確定目標說話人，從而解決單純使用攝像頭、高指向性麥克風或麥克風陣列存在的目標說話人確定困難、需機械轉動裝置等問題，本專利技術提出結合監控攝像頭、麥克風陣列波束成形技術的一種語音采集裝置進行聲像聯合確定目標說話人定位，從而改善環境噪聲條件下室外遠距離語音增強采集的性能。一種聲像聯合定位的遠距離語音采集裝置，包括以下模塊，監控攝像頭：用于采集遠距離視頻圖像；麥克風陣列：用于語音信號多通道采集、前置處理和模數轉換；波束掃描模塊，其輸入端連接麥克風陣列輸出端：用于進行波束掃描，獲取遠距離語音和噪聲的方向分布信息；聲像聯合處理模塊，其輸入端分別連接監控攝像頭與波束掃描模塊的輸出端：用于將監控攝像頭傳輸的圖像信息、波束掃描模塊獲取的語音和噪聲方向信息經坐標轉換后送入設有的聲像聯合監控顯示屏進行聲像聯合定位顯示；聲像聯合監控顯示屏，其輸入端連接聲像聯合處理模塊輸出端：用于接收聲像聯合成像處理模塊送來的聲像聯合信息并進行屏幕顯示。目標選定模塊：用于監控操作人員根據聲像聯合監控顯示屏上的圖像、聲音聯合信息選定目標說話人。波束對準模塊，其輸入端分別連接目標選定模塊與麥克風陣列的輸出端：根據目標選定模塊選定的目標說話人對于方向進行麥克風陣列波束對準。語音采集模塊，其輸入端連接波束對準模塊的輸出端：對波束對準模塊的語音信息進行采集。所述麥克風陣列包括增強模塊，所述麥克風陣列各通道語音信號輸出端經增強模塊分別連接波束掃描模塊與波束對準模塊，所述增強模塊用于增強麥克風陣列的語音信息。所述增強模塊包括前置放大電路與模數轉換器。所述麥克風陣列包括反射罩：用于安裝在麥克風上進行語音信號聚焦；所述目標選定模塊設有鼠標輸入端，操作人員通過觀察聲像聯合監控顯示屏通過鼠標輸入端選定目標說話人，目標選定模塊經坐標轉換后輸出目標說話人的方向信息至波束對準模塊。使用所述聲像聯合定位的遠距離語音采集裝置的步驟如下：一個初始化步驟：各模塊參數初始化設置；一個視頻采集步驟：監控攝像頭采集遠距離視頻圖像；一個波束掃描步驟：麥克風陣列對遠距離語音和信號進行方向掃描，獲取方向分布信息；一個聲像聯合處理步驟：將波束掃描結果進行坐標轉換后合并加入視頻圖像，形成聲像聯合視頻圖像。一個聲像聯合顯示步驟：聲像聯合顯示屏將聲像聯合處理結果進行顯示；一個目標選定步驟：操作人員在聲像聯合顯示屏上結合圖像、聲音信息利用鼠標選定目標說話人，并通過坐標轉換輸出目標說話的方向信息；一個波束對準步驟：將選定的目標說話人方向輸入麥克風陣列進行波束對準；一個語音采集步驟：對麥克風陣列波束對準信號進行采集。附圖說明圖1為本專利技術實施例的結構組成框圖；圖2為本專利技術實施例的麥克風反射罩示意圖；圖3為本專利技術實施例的5元麥克風陣列及其與微處理器連接電路圖；圖4為本專利技術實施例的波束掃描原理示意圖；圖5為本專利技術實施例的攝像頭與微處理器連接電路圖。具體實施方式為了使本專利技術的
技術實現思路
、特征、優點更加明顯易懂，以下實施例將結合附圖對本專利技術作進一步的說明。所述聲像聯合定位的陣列式遠距離語音采集裝置實施例中麥克風陣列由5個等間距排列的麥克風(m0，m1，…，m4)組成麥克風線列陣，陣列中各麥克風安裝有圖2所示反射罩，反射罩的反射面與中軸線成45度，反射罩材料為不銹鋼以適應本專利技術裝置的室外安裝使用，本實施例中為了聚焦遠距離語音，設置發射罩直徑d0＝40cm。麥克風陣列獲得的語音信號利用波束掃描算法進行波束掃描獲取遠距離語音和噪聲的方向分布信息。麥克風陣列由麥克風及硬件電路組成，其中麥克風陣列由體積小、結構簡單、電聲性能好的全向麥克風m0，…，m4，NJM2100運算放大器芯片構成的前置放大電路及MAX118模數轉換芯片構成(如圖3所示)，在本實施例中，為了采集遠距離語音，設置麥克風間距d＝40cm。波束掃描模塊、聲像聯合處理模塊、波束對準與增強模塊、目標選定模塊等組成模塊均屬于數字信號處理模塊，在本實施例中采用ARM9S3C2440微處理器進行軟件編程實現。麥克風陣列與微處理器的連接方式為：麥克風陣列中5個麥克風輸出信號本文檔來自技高網...

【技術保護點】
一種聲像聯合定位的遠距離語音采集裝置，其特征在于：包括以下模塊，監控攝像頭：用于采集遠距離視頻圖像；麥克風陣列：用于語音信號多通道采集、前置處理和模數轉換；波束掃描模塊，其輸入端連接麥克風陣列輸出端：用于進行波束掃描，獲取遠距離語音和噪聲的方向分布信息；聲像聯合處理模塊，其輸入端分別連接監控攝像頭與波束掃描模塊的輸出端：用于將監控攝像頭傳輸的圖像信息、波束掃描模塊獲取的語音和噪聲方向信息經坐標轉換后送入設有的聲像聯合監控顯示屏進行聲像聯合定位顯示；聲像聯合監控顯示屏，其輸入端連接聲像聯合處理模塊輸出端：用于接收聲像聯合成像處理模塊送來的聲像聯合信息并進行屏幕顯示；目標選定模塊：用于監控操作人員根據聲像聯合監控顯示屏上的圖像、聲音聯合信息選定目標說話人；波束對準模塊，其輸入端分別連接目標選定模塊與麥克風陣列的輸出端：根據目標選定模塊選定的目標說話人對于方向進行麥克風陣列波束對準；語音采集模塊，其輸入端連接波束對準模塊的輸出端：對波束對準模塊的語音信息進行采集。

【技術特征摘要】
1.一種聲像聯合定位的遠距離語音采集裝置，其特征在于：包括以下模塊，監控攝像頭：用于采集遠距離視頻圖像；麥克風陣列：用于語音信號多通道采集、前置處理和模數轉換；波束掃描模塊，其輸入端連接麥克風陣列輸出端：用于進行波束掃描，獲取遠距離語音和噪聲的方向分布信息；聲像聯合處理模塊，其輸入端分別連接監控攝像頭與波束掃描模塊的輸出端：用于將監控攝像頭傳輸的圖像信息、波束掃描模塊獲取的語音和噪聲方向信息經坐標轉換后送入設有的聲像聯合監控顯示屏進行聲像聯合定位顯示；聲像聯合監控顯示屏，其輸入端連接聲像聯合處理模塊輸出端：用于接收聲像聯合成像處理模塊送來的聲像聯合信息并進行屏幕顯示；目標選定模塊：用于監控操作人員根據聲像聯合監控顯示屏上的圖像、聲音聯合信息選定目標說話人；波束對準模塊，其輸入端分別連接目標選定模塊與麥克風陣列的輸出端：根據目標選定模塊選定的目標說話人對于方向進行麥克風陣列波束對準；語音采集模塊，其輸入端連接波束對準模塊的輸出端：對波束對準模塊的語音信息進行采集。2.根據權利要求1所述的一種聲像聯合定位的遠距離語音采集裝置，其特征在于：所述麥克風陣列包括增強模塊，所述麥克風陣列各通道語音信號輸出端經增強模塊分別連接波束掃描模塊與波束對準模塊，所述增強模塊用于增強麥克風陣列的語音信息。3.根據權利...

【專利技術屬性】
技術研發人員：朱沄杰，徐偉明，何颋，黃松岳，
申請(專利權)人：寧波桑德納電子科技有限公司，
類型：發明
國別省市：浙江,33