一種基于雙目視覺的多功能導(dǎo)盲儀制造技術(shù)

一種基于雙目視覺的多功能導(dǎo)盲儀，該基于雙目視覺的多功能導(dǎo)盲儀由第一攝像頭模塊、第二攝像頭模塊、超聲波檢測模塊、具有地圖信息的GPS+無線傳輸模塊、影像處理模塊、語音提示模塊、語音識別模塊和電源模塊組成。因此，本發(fā)明專利技術(shù)順應(yīng)了穿戴式多功能導(dǎo)盲儀的主流設(shè)計方向，集成了周圍環(huán)境識別、障礙物識別、定位、障礙物運(yùn)行速度和距離識別、紅綠燈識別、GPS定位、路線規(guī)劃、人性化的語音提示等功能，同時，該導(dǎo)盲儀還整合進(jìn)去了幫助及救助功能。

A multifunctional eye guide instrument based on binocular vision

A multifunctional guide instrument based on binocular vision, the multifunctional guide instrument based on binocular vision by the first camera module, second camera module, ultrasonic detection module, with map information GPS+ wireless transmission module, image processing module, voice prompt module, voice recognition module and a power module. Therefore, the invention conforms to the mainstream design direction of wearable multifunctional guide instrument, integrated environment recognition and obstacle recognition, positioning, obstacle recognition speed and distance, traffic lights recognition, GPS positioning, route planning, human voice prompt function, at the same time, the guide also integrated into the instrument help and assistance.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于雙目視覺的多功能導(dǎo)盲儀
本專利技術(shù)涉及機(jī)器視覺領(lǐng)域，尤其涉及一種基于雙目視覺的多功能導(dǎo)盲儀。
技術(shù)介紹
人類獲得信息中90％源于視覺系統(tǒng)，因此，視力的喪失會嚴(yán)重影響生存質(zhì)量。盲人由于眼睛看不見，日常生活有很大障礙，尤其是出行困難。目前有很多種方法進(jìn)行導(dǎo)盲，例如盲杖、紅外線探測、超聲波探測等非視覺探測方法。然而這些方法都存在一定的缺陷：①、使用盲杖探測，探測范圍過小，盲人通過敲觸大地或者周圍的物體來斷定行走方向，以及需要停下與否；這類拐杖的弊端很多，特別是它難以發(fā)現(xiàn)很遠(yuǎn)的物體和懸在半空中的物體；②、使用紅外線、超聲波等探測方式，只能探測體積較大的障礙物，不能獲取障礙物輪廓、高度等完整信息，因此安全性較差。例如，國內(nèi)外帶語音提示的導(dǎo)盲器是由超聲波探測器獲取數(shù)據(jù)，經(jīng)單片機(jī)處理后將數(shù)據(jù)發(fā)送給語音提醒器，然后驅(qū)動語音芯片提醒。然而，這種導(dǎo)盲器是通過不同音量、音調(diào)、節(jié)奏的提示音或者是誤差較大的分段式語音提示對盲人進(jìn)行提醒，只能使盲人對障礙物的距離有個大概的判斷，并且，消耗了盲人的大量精力，容易造成錯誤判斷。因此，穿戴式多功能導(dǎo)盲儀成為目前的主流設(shè)計方向。
技術(shù)實(shí)現(xiàn)思路
為了實(shí)現(xiàn)上述目標(biāo)，本專利技術(shù)提供了一種基于雙目視覺的多功能導(dǎo)盲儀，本專利技術(shù)的技術(shù)方案如下：一種基于雙目視覺的多功能導(dǎo)盲儀；其包括：第一攝像頭模塊和第二攝像頭模塊，設(shè)于穿戴式頭套上，且分別位于人眼的前方兩側(cè)；所述第一攝像頭模塊和第二攝像頭模塊的性能參數(shù)相同且平行放置，即平行于z軸的所述第一攝像頭模塊和第二攝像頭模塊的兩光軸互相平行且與x軸共線；影像處理模塊，其接收所述第一攝像頭模塊和第二攝像頭模塊采集到的圖像數(shù)據(jù)，利用所述第一攝像頭模塊和第二攝像頭模塊拍攝同一目標(biāo)物體的圖像數(shù)據(jù)特征，通過影像處理算法進(jìn)行目標(biāo)物體種類的識別，同時從兩個不同視點(diǎn)獲取同一景物的多幅圖像，獲得多組立體圖像對，通過測量景物在每一組所述立體圖像對中的視差，再利用雙目視覺成像原理，計算出目標(biāo)物體到所述第一攝像頭模塊和第二攝像頭模塊的距離，以及所述目標(biāo)物體相對于所述第一攝像頭模塊和第二攝像頭模塊的運(yùn)動速度；語音提示模塊，用于接收所述影像處理模塊識別出目標(biāo)物體種類、距離和運(yùn)動速度信息時，采用語音的方式給出盲人停止或者行走方向的建議。優(yōu)選地，所述的圖像數(shù)據(jù)特征包括目標(biāo)物體的種類特征、測距特征、測速特征和紅綠燈判斷特征；所述目標(biāo)物體種類識別分為障礙物識別、紅綠燈識別和移動物體識別；所述目標(biāo)物體的距離包括障礙物距離、紅綠燈距離和移動物體距離，所述目標(biāo)物體的運(yùn)動速度包括移動物體的運(yùn)動速度。優(yōu)選地，所述的基于雙目視覺的多功能導(dǎo)盲儀，其特征在于，還包括超聲波檢測模塊，具體包括：超聲波測距子模塊，其通過超聲波的發(fā)射和接收，計算發(fā)射和接收超聲波的時差，判斷出前方障礙物、紅綠燈和/或移動物體的距離，并將所述判斷結(jié)果傳送給所述影像處理模塊；超聲波測速子模塊，其通過多次發(fā)射超聲波，計算發(fā)射和接收超聲波的時差，計算出運(yùn)動物體的移動速度，并將所述計算結(jié)果傳送給所述影像處理模塊；其中，所述影像處理模塊結(jié)合所述第一攝像頭模塊和第二攝像頭模塊以及所述超聲波測距子模塊得到的判斷結(jié)果，確定前方障礙物、紅綠燈和/或移動物體到所述第一攝像頭模塊和第二攝像頭模塊的距離；所述影像處理模塊結(jié)合所述第一攝像頭模塊和第二攝像頭模塊以及所述超聲波測距子模塊得到的計算結(jié)果，得到運(yùn)動物體的移動速度。優(yōu)選地，所述的基于雙目視覺的多功能導(dǎo)盲儀還包括具有地圖信息的GPS+無線傳輸模塊，與所述影像處理模塊相連，所述影像處理模塊還包括規(guī)劃子模塊和導(dǎo)航子模塊；所述規(guī)劃子模塊根據(jù)所述地圖信息進(jìn)行出行前的線路規(guī)劃及線路距離的確定，并通過語音的方式告知盲人；所述導(dǎo)航子模塊用于得到盲人的定位信息以及預(yù)判出行時前方是否擁堵的結(jié)果，并通過語音的方式與盲人交流是否需要進(jìn)行出行線路的更改。優(yōu)選地，所述的基于雙目視覺的多功能導(dǎo)盲儀還包括語音識別模塊，其通過所述無線傳輸模塊發(fā)送求助語音信息。優(yōu)選地，所述無線傳輸模塊采用4G網(wǎng)絡(luò)傳輸，通過4G網(wǎng)絡(luò)與云端軟件平臺進(jìn)行互動，將盲人的定位信息及語音求助信息傳輸?shù)皆贫塑浖脚_；同時，云端軟件平臺將路線規(guī)劃等信息通過4G網(wǎng)絡(luò)傳輸模塊傳送到所述影像處理模塊，方便盲人進(jìn)行避開擁堵。優(yōu)選地，所述的基于雙目視覺的多功能導(dǎo)盲儀還包括電源模塊，用于給所述第一攝像頭模塊、第二攝像頭模塊、所述影像處理模塊、超聲波檢測模塊供電；其中，所述電源模塊包含供電子模塊及低功耗控制子模塊。從上述技術(shù)方案可以看出，本專利提供了基于雙目視覺的多功能導(dǎo)盲儀，主要功能包括：周圍環(huán)境識別，障礙物識別、定位，障礙物運(yùn)行速度和距離識別，紅綠燈識別，GPS定位，路線規(guī)劃，人性化的語音提示等功能，且該導(dǎo)盲儀還集成了幫助及救助系統(tǒng)。附圖說明圖1為本專利技術(shù)基于雙目視覺的多功能導(dǎo)盲儀的方法系統(tǒng)框架示意圖圖2所示為本專利技術(shù)實(shí)施例中平行雙目視覺模塊示意圖具體實(shí)施方式體現(xiàn)本專利技術(shù)特征與優(yōu)點(diǎn)的實(shí)施例將在后段的說明中詳細(xì)敘述。應(yīng)理解的是本專利技術(shù)能夠在不同的示例上具有各種的變化，其皆不脫離本專利技術(shù)的范圍，且其中的說明及圖示在本質(zhì)上當(dāng)做說明之用，而非用以限制本專利技術(shù)。以下結(jié)合附圖1，通過具體實(shí)施例對本專利技術(shù)的基于實(shí)時系統(tǒng)的熱處理設(shè)備溫度控制及方法、實(shí)現(xiàn)該方法的裝置作進(jìn)一步詳細(xì)說明。需說明的是，附圖均采用非常簡化的形式、使用非精準(zhǔn)的比例，且僅用以方便、明晰地達(dá)到輔助說明本專利技術(shù)實(shí)施例的目的。需要說明的是，本專利技術(shù)采用兩個攝像頭模塊，組成雙目視覺，模擬人眼功能，再利用后端影像處理模塊的處理能力，將圖像處理技術(shù)、超聲波檢測技術(shù)、語音播報技術(shù)、GPS和無線傳輸技術(shù)結(jié)合在一起，組合成了一個多功能化的導(dǎo)盲儀。請參閱圖1，圖1為本專利技術(shù)基于雙目視覺的多功能導(dǎo)盲儀的系統(tǒng)框架示意圖。如圖1所示，該基于雙目視覺的多功能導(dǎo)盲儀由第一攝像頭模塊、第二攝像頭模塊、超聲波檢測模塊、具有地圖信息的GPS+無線傳輸模塊、影像處理模塊、語音提示模塊、語音識別模塊和電源模塊組成。語音提示模塊和語音識別模塊分別包含語音輸入和語音輸出兩部分，這一部分對于盲人而言非常重要。人性化的設(shè)計和語音播報是該部分的核心。在本專利技術(shù)的實(shí)施例中，第一攝像頭模塊和第二攝像頭模塊，可以設(shè)于穿戴式頭套上，且分別位于人眼的前方兩側(cè)，組成雙目視覺，模擬人眼功能。請參閱圖2，圖2為本專利技術(shù)實(shí)施例中平行雙目視覺模塊示意圖。如圖2所示，第一攝像頭模塊和第二攝像頭模塊的性能參數(shù)相同且平行放置，第一攝像頭模塊和第二攝像頭模塊在同一個平面中，即平行于z軸，實(shí)現(xiàn)第一攝像頭模塊和第二攝像頭模塊的兩光軸互相平行且與x軸共線。在使用時，由上述第一攝像頭模塊和第二攝像頭模塊分別采集圖像數(shù)據(jù)，并將采集到的圖像數(shù)據(jù)傳輸給影像處理模塊(即ImageSignalProcessor)，影像處理模塊利用第一攝像頭模塊和第二攝像頭模塊拍攝同一目標(biāo)物體的圖像數(shù)據(jù)特征，可以識別出周圍環(huán)境，主要是障礙物、紅綠燈和移動物體等。圖像數(shù)據(jù)特征可以包括目標(biāo)物體的種類特征、測距特征、測速特征和紅綠燈判斷特征；目標(biāo)物體種類識別分為障礙物識別、紅綠燈識別和移動物體識別；目標(biāo)物體的距離包括障礙物距離、紅綠燈距離和移動物體距離，目標(biāo)物體的運(yùn)動速度包括移動物體的運(yùn)動速度。通過影像處理算法進(jìn)行目標(biāo)物體種類的識別，同時從兩個不同視點(diǎn)獲取同一景物本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于雙目視覺的多功能導(dǎo)盲儀，其特征在于，包括：第一攝像頭模塊和第二攝像頭模塊，設(shè)于穿戴式頭套上，且分別位于人眼的前方兩側(cè)；所述第一攝像頭模塊和第二攝像頭模塊的性能參數(shù)相同且平行放置，即平行于z軸的所述第一攝像頭模塊和第二攝像頭模塊的兩光軸互相平行且與x軸共線；影像處理模塊，其接收所述第一攝像頭模塊和第二攝像頭模塊采集到的圖像數(shù)據(jù)，利用所述第一攝像頭模塊和第二攝像頭模塊拍攝同一目標(biāo)物體的圖像數(shù)據(jù)特征，通過影像處理算法進(jìn)行目標(biāo)物體種類的識別，同時從兩個不同視點(diǎn)獲取同一景物的多幅圖像，獲得多組立體圖像對，通過測量景物在每一組所述立體圖像對中的視差，再利用雙目視覺成像原理，計算出目標(biāo)物體到所述第一攝像頭模塊和第二攝像頭模塊的距離，以及所述目標(biāo)物體相對于所述第一攝像頭模塊和第二攝像頭模塊的運(yùn)動速度；語音提示模塊，用于接收所述影像處理模塊識別出目標(biāo)物體種類、距離和運(yùn)動速度信息時，采用語音的方式給出盲人停止或者行走方向的建議。

【技術(shù)特征摘要】
1.一種基于雙目視覺的多功能導(dǎo)盲儀，其特征在于，包括：第一攝像頭模塊和第二攝像頭模塊，設(shè)于穿戴式頭套上，且分別位于人眼的前方兩側(cè)；所述第一攝像頭模塊和第二攝像頭模塊的性能參數(shù)相同且平行放置，即平行于z軸的所述第一攝像頭模塊和第二攝像頭模塊的兩光軸互相平行且與x軸共線；影像處理模塊，其接收所述第一攝像頭模塊和第二攝像頭模塊采集到的圖像數(shù)據(jù)，利用所述第一攝像頭模塊和第二攝像頭模塊拍攝同一目標(biāo)物體的圖像數(shù)據(jù)特征，通過影像處理算法進(jìn)行目標(biāo)物體種類的識別，同時從兩個不同視點(diǎn)獲取同一景物的多幅圖像，獲得多組立體圖像對，通過測量景物在每一組所述立體圖像對中的視差，再利用雙目視覺成像原理，計算出目標(biāo)物體到所述第一攝像頭模塊和第二攝像頭模塊的距離，以及所述目標(biāo)物體相對于所述第一攝像頭模塊和第二攝像頭模塊的運(yùn)動速度；語音提示模塊，用于接收所述影像處理模塊識別出目標(biāo)物體種類、距離和運(yùn)動速度信息時，采用語音的方式給出盲人停止或者行走方向的建議。2.根據(jù)權(quán)利要求1所述的基于雙目視覺的多功能導(dǎo)盲儀，其特征在于，所述的圖像數(shù)據(jù)特征包括目標(biāo)物體種類的特征、測距特征、測速特征和紅綠燈判斷特征；所述目標(biāo)物體種類識別分為障礙物識別、紅綠燈識別和移動物體識別；所述目標(biāo)物體的距離包括障礙物距離、紅綠燈距離和移動物體距離，所述目標(biāo)物體的運(yùn)動速度包括移動物體的運(yùn)動速度。3.根據(jù)權(quán)利要求1或2所述的基于雙目視覺的多功能導(dǎo)盲儀，其特征在于，還包括超聲波檢測模塊，具體包括：超聲波測距子模塊，其通過超聲波的發(fā)射和接收，計算發(fā)射和接收超聲波的時差，判斷出前方障礙物、紅綠燈和/或移動物體的距離，并將所述判斷結(jié)果傳送給所述影像處理模塊；超聲波測速子模塊，其通過...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王勇，
申請(專利權(quán))人：上海集成電路研發(fā)中心有限公司，成都微光集電科技有限公司，
類型：發(fā)明
國別省市：上海,31