一種基于深度學習的無人駕駛物流車制造技術

本發明專利技術涉及一種基于深度學習的無人駕駛物流車，包括物流車車體、超聲波避障模塊、雙目立體視覺避障模塊、電機驅動模塊、嵌入式系統、電源模塊和視覺導航處理系統；雙目立體視覺避障模塊用于檢測道路場景中較遠距離障礙物，超聲波避障模塊用于檢測近距離障礙物，二者所獲取障礙物的距離信息統稱為避障信息；視覺導航處理系統采用由樣本集訓練的深度學習模型處理采集的道路圖像數據，并輸出控制指令信息；最后由決策模塊綜合控制指令信息和避障信息進行判斷，來控制電機驅動模塊，以實現物流車的無人駕駛功能。本發明專利技術不需要安裝輔助設備，只需要深度學習模型通過學習樣本集，即可對道路周圍環境進行感知與理解，實現物流車的無人駕駛功能。

An unmanned logistics vehicle based on depth learning

The invention relates to a deep learning based on unmanned vehicle logistics, including logistics car, ultrasonic obstacle avoidance module, binocular stereo vision based obstacle avoidance module, motor drive module, power supply module, embedded system and visual navigation system; binocular stereo vision based obstacle avoidance module is used for detecting the road scene in distant obstacles, ultrasonic the obstacle avoidance module is used for detecting near distance obstacle distance information two collectively acquired obstacles for obstacle avoidance information; visual navigation processing system using the training sample set by the deep learning model acquisition and processing of the road image data, and outputs the control instruction information; finally judged by the decision module integrated control instruction information and obstacle avoidance information, to control the motor drive module, driving to achieve unmanned car logistics function. The invention does not need to install auxiliary equipment, and only needs a depth learning model. By studying the sample set, the environment of the road can be sensed and understood, and the driverless driving function of the logistics vehicle can be realized.

【技術實現步驟摘要】
一種基于深度學習的無人駕駛物流車
本專利技術屬于無人駕駛
，涉及一種基于深度學習的無人駕駛物流車，適用于大型園區、倉庫、車站、機場、碼頭等公共場所。
技術介紹
隨著物流業的快速發展，特別是倉儲貨運、快遞和外賣的運輸量不斷攀升，給無人駕駛物流車帶來了極大的發展潛力和巨大的市場空間。但是，目前倉儲貨運大多采用電磁引導、磁帶引導以及激光導航等方式的AGV(無人搬運車)，快遞和外賣基本上依托人力運輸。前者實現了無人化運輸，一般適用于場地平整、干凈的室內環境；后者需要耗費大量人力物力，運送成本高。雖然前者可實現無人化運輸，但是對于場地要求嚴格，要配置一些輔助引導設備(磁條、色帶和反光板等)，施工周期長，投資費用高。目前，無人駕駛汽車大部分采用激光雷達作為導航檢測裝置,但是激光雷達成本太高，而且提取到的特征信息稀疏，不利于場景的理解與感知。另外，物流車工作的園區或者室內對其車速一般要求低速平穩運行。而利用視覺導航不僅投資低、施工周期短，而且能夠提取到豐富的圖像特征信息，其處理速度也可滿足系統的實時性要求，適合無人駕駛物流車的技術實施。本專利技術的無人駕駛物流車以深度學習模型為核心，通過實時采集道路周圍環境的圖像數據，經深度學習模型處理去感知周圍的環境信息，進而發出控制指令信息；再由決策模塊結合雙目立體視覺避障模塊和超聲波避障模塊提供的避障信息作出判斷，來控制電機驅動模塊，以實現物流車無人駕駛功能。
技術實現思路
本專利技術充分利用視覺檢測與深度學習的各自優勢，提出一種基于深度學習的無人駕駛物流車。相比現有的采用輔助引導AGV(無人搬運車)，本專利技術無人駕駛物流車不僅安裝調試難度小、成本低、靈活方便、導航控制偏差小；而且適應于更復雜的室內或者室外工作道路場景。為了實現本專利技術的目的，采用的技術方案如下：一種基于深度學習的無人駕駛物流車，包括物流車外部結構和物流車內部結構兩部分。物流車外部結構主要由物流車車體、超聲波避障模塊和雙目立體視覺避障模塊組成；所述物流車車體共計設置五個用于存儲貨物的抽屜門；物流車車體兩側各裝兩個抽屜門，物流車車體的尾部裝一個抽屜門；所述物流車車體的底部裝有四個麥克納姆輪，實現原地全向旋轉；所述物流車車體的頭部兩側各裝有一套所述超聲波避障模塊，用于近距離防護性測距避障；所述物流車車體的頭部中間裝有攝像頭A和攝像頭B，二者構成雙目立體視覺避障模塊，用于檢測道路場景中較遠距離障礙物，超聲波避障模塊用于檢測近距離障礙物，二者所獲取障礙物的距離信息統稱為物流車的避障信息；所述攝像頭A類似于人的主視眼，為視覺導航處理系統提供圖像數據。物流車內部結構主要由電機驅動模塊、嵌入式系統和電源模塊組成。所述電機驅動模塊用于驅動直流無刷電機，再由直流無刷電機帶動皮帶驅動麥克納姆輪；所述嵌入式系統用于采集圖像數據，搭載視覺導航處理系統，控制所述電機驅動模塊；所述電源模塊采用電池組為物流車系統供電。上述無人駕駛物流車通過視覺導航處理系統完成在道路工作環境中的無人駕駛功能，所述視覺導航處理系統主要有深度學習模型、決策模塊和樣本集組成，其中樣本集又分為訓練集和測試集。所述深度學習模型建立步驟如下：步驟1：將物流車預先采集到的道路環境視頻圖像和操作人員操作遙控指令信息拷貝到計算機中，將樣本集按照9：1比例制作成訓練集和測試集；步驟2：訓練集用于訓練深度模型，測試集用于測試深度學習模型，通過反復對深度模型進行調節參數與測試，觀察測試結果誤差大小，直到能夠滿足系統的控制精度為止；最終，獲取到所需的深度學習模型。本專利技術是基于深度學習算法理論，通過學習優秀的操作人員的駕駛經驗，經過反復的調節和優化參數，訓練達到滿足系統要求的深度學習模型。通過深度學習模型使物流車能夠感知道路的周圍環境，獲取系統的控制指令信息。另外，再由決策模塊結合物流車的避障信息，發出決策指令信息控制電機驅動模塊，實現物流車無人駕駛功能。附圖說明圖1為本專利技術的車體外部結構圖。圖2為本專利技術的車體內部結構圖。圖3為本專利技術的深度學習模型結構圖。圖4為本專利技術的系統結構功能圖。圖5為本專利技術的系統功能實施流程圖。圖中：100為物流車車體，200為抽屜門，300為麥克納姆輪，400為超聲波避障模塊，500為雙目立體視覺避障模塊，501為攝像頭A，502為攝像頭B，600為直流無刷電機，701為嵌入式系統,702為電機驅動模塊，800為電源模塊，900為樣本集，901為訓練集，902為測試集，903為深度學習模型，904為決策模塊，905為視覺導航處理系統。具體實施方式以下結合技術方案和附圖詳細敘述本專利技術的具體實施例。圖1是物流車車體的外部結構示意圖。由圖1可知，所述物流車車體100的兩側各裝兩個所述抽屜門200，以及尾部裝有一個所述抽屜門200，共計五個用于存儲貨物的抽屜門200。所述物流車車體100底部裝有四個所述麥克納姆輪300，可實現四輪全向驅動。所述物流車車體100頭部兩側各裝有一套所述超聲避障模塊400，用于近距離防護性測距避障。所述物流車車體100頭部中間位置安裝有所述攝像頭A501和攝像頭B502，二者構成雙目立體視覺避障模塊500(圖4所示)，用于獲取道路周圍環境的三維空間信息，可實現視覺避障功能；其中，所述攝像頭A501類似于人的主視眼，為視覺導航處理系統905(圖4所示)提供圖像數據。圖2是物流車車體的內部結構示意圖。從圖2可知，所述嵌入式系統701通過攝像頭A501采集圖像數據，經視覺導航處理系統905(圖4所示)處理之后，控制所述電機驅動模塊702。所述電機驅動模塊702用于驅動所述直流無刷電機600。所述直流無刷電機600通過皮帶帶動驅動麥克納姆輪300(圖1所示)運動。所述電源模塊800采用電池組為物流車系統供電。在深度學習模型具體實施案例中，如圖3所示，深度學習模型采用是深度卷積神經網絡，其網絡的連接順序依次為輸入層、第一層卷積加激活層、第一最大池化層、第二卷積加激活層、第二最大池化層、第三卷積加激活層、第三最大池化層、第一全連接加激活加Dropout層、第二全連接層、輸出層。如圖4所示，所述攝像頭A501采集到的圖像作為輸入層，其輸入數據的大小為200×160×1。根據表1所示，對于輸入層采用卷積核大小為5×5，過濾器數為20，卷積步長為1，卷積填充為1進行卷積操作，得到第一卷積層的大小為196×156×20；第一卷積層經過激活函數ReLU處理之后，作為第一最大池化層的輸入，采用池化核的大小為2×2，濾波器數為20，池化步長為2進行降采樣處理，得到第一最大池化層的大小為98×78×20。此刻，實現了第一次卷積與池化的操作。接下來第二次、第三次的卷積與池化操作按照第一次卷積與池化的操作步驟，其參數查詢表1依次得到第二卷積層的大小為94×74×40，第二最大池化層的大小為47×37×40，第三卷積層的大小為44×34×60，第三最大池化層的大小為22×17×60。總共經過三次卷積和池化操作之后，依次連接第一全連接層、ReLU層、Dropout層和第二全連接層，其中Dropout層是隨機對一些神經元進行抑制，防止深度學習訓練的過程中出現過飽和現象。第一全連接層的輸入為22×17×60，輸出為400；ReLU層和Dropout層的輸入輸出保持不變為400，本文檔來自技高網...

【技術保護點】
一種基于深度學習的無人駕駛物流車，包括物流車外部結構和物流車內部結構兩部分；其特征在于:物流車外部結構主要由物流車車體、超聲波避障模塊和雙目立體視覺避障模塊組成；所述物流車車體共計設置五個用于存儲貨物的抽屜門；物流車車體兩側各裝兩個抽屜門，物流車車體的尾部裝一個抽屜門；所述物流車車體的底部裝有四個麥克納姆輪，實現原地全向旋轉；所述物流車車體的頭部兩側各裝有一套所述超聲波避障模塊，用于近距離防護性測距避障；所述物流車車體的頭部中間裝有攝像頭A和攝像頭B，二者構成雙目立體視覺避障模塊，用于檢測道路場景中較遠距離障礙物，超聲波避障模塊用于檢測近距離障礙物，二者所獲取障礙物的距離信息統稱為物流車的避障信息；所述攝像頭A類似于人的主視眼，為視覺導航處理系統提供圖像數據；物流車內部結構主要由電機驅動模塊、嵌入式系統和電源模塊組成；所述電機驅動模塊用于驅動直流無刷電機，再由直流無刷電機帶動皮帶驅動麥克納姆輪；所述嵌入式系統用于采集圖像數據，搭載視覺導航處理系統，控制所述電機驅動模塊；所述電源模塊采用電池組為物流車系統供電；上述無人駕駛物流車通過視覺導航處理系統完成在道路工作環境中的無人駕駛功能，所述視覺導航處理系統主要有深度學習模型、決策模塊和樣本集組成，其中樣本集又分為訓練集和測試集；所述深度學習模型建立步驟如下：步驟1：將物流車預先采集到的道路環境視頻圖像和操作人員操作遙控指令信息拷貝到計算機中，將樣本集按照9：1比例制作成訓練集和測試集；步驟2：訓練集用于訓練深度模型，測試集用于測試深度學習模型，通過反復對深度模型進行調節參數與測試，觀察測試結果誤差大小，直到能夠滿足系統的控制精度為止；最終，獲取到所需的深度學習模型。...

【技術特征摘要】
1.一種基于深度學習的無人駕駛物流車，包括物流車外部結構和物流車內部結構兩部分；其特征在于:物流車外部結構主要由物流車車體、超聲波避障模塊和雙目立體視覺避障模塊組成；所述物流車車體共計設置五個用于存儲貨物的抽屜門；物流車車體兩側各裝兩個抽屜門，物流車車體的尾部裝一個抽屜門；所述物流車車體的底部裝有四個麥克納姆輪，實現原地全向旋轉；所述物流車車體的頭部兩側各裝有一套所述超聲波避障模塊，用于近距離防護性測距避障；所述物流車車體的頭部中間裝有攝像頭A和攝像頭B，二者構成雙目立體視覺避障模塊，用于檢測道路場景中較遠距離障礙物，超聲波避障模塊用于檢測近距離障礙物，二者所獲取障礙物的距離信息統稱為物流車的避障信息；所述攝像頭A類似于人的主視眼，為視覺導航處理系統提供圖像數據；物流車內部結構主要由電機驅動模塊、嵌入式系統和電源模塊組成；所述電機驅動模塊用于驅動直流無刷電機，再由直流無刷電機帶動皮帶驅動麥克納姆輪；所述嵌入式系統用于采集圖像數據，搭載視覺導航處理系統，控制所述電機驅動模塊；所述電源模塊采用電池組為物流車系統供電；上述無人駕駛物流車通過視覺導航處理系統完成在道路工作環境中的無人駕駛功能，所述視覺導航處理系統主要有深度學習模型、決策模塊和樣本集組成，其中樣本集又分為訓練集和測試集；所述深度學習模型建立步驟如下：步驟1：將物流車預先采集到的道路環境視頻圖像和操作人員操作遙控指令信息拷貝到計算機中，將樣本集按照9：1比例制作成訓練集和測試集；步驟2：訓練集用于訓練深度模型，測試集用于測試深度學習模型，通過反復對深度模型進行調節參數與測試，觀察測試結果誤差大小，直到能夠滿足系統的控制精度為止；最終，獲取到所需的深度學習模型。2.如權利要求1所述...

【專利技術屬性】
技術研發人員：王安娜，王文慧，劉璟璐，
申請(專利權)人：東北大學，
類型：發明
國別省市：遼寧,21