一種基于深度學習的手機外殼缺陷檢測方法技術

本發明專利技術涉及一種基于深度學習的手機外殼缺陷檢測方法，該方法包括如下步驟：(1)獲取待檢測手機外殼圖像并進行預處理；(2)將預處理后的圖像輸入至預先訓練好的缺陷檢測模型進行缺陷檢測得到手機外殼上存在缺陷的位置，并給出該位置為缺陷的置信度；其中，缺陷檢測模型為基于深度學習的深度網絡，包括依次級聯而成的特征提取網絡以及分類器與回歸器網絡，所述的特征提取網絡對預處理的圖像進行特征提取得到特征圖像，所述的分類器與回歸器網絡對特征圖像進行分類回歸得到手機外殼缺陷位置以及置信度。與現有技術相比，本發明專利技術檢測精度高，檢測結果準確可靠。

A mobile phone shell defect detection method based on depth learning

The invention relates to a mobile phone shell defect detection method based on deep learning, the method comprises the following steps: (1) to get the test of mobile phone shell image and pretreatment; (2) the input image after preprocessing to defect detection model of pre trained defect detection are obtained the position of defects on the outside of the mobile phone and, given the location of confidence defects; the defect detection model for deep web based on deep learning, includes a cascade of feature extraction and classifier and regression network network, the network feature extraction feature of image pre-processing of extracted image features, the classifier and regression the network characteristics of image classification and regression by mobile phone shell defect location and confidence. Compared with the prior art, the present invention has high detection accuracy and accurate and reliable detection results.

【技術實現步驟摘要】
一種基于深度學習的手機外殼缺陷檢測方法
本專利技術涉及一種手機外殼缺陷檢測方法，尤其是涉及一種基于深度學習的手機外殼缺陷檢測方法。
技術介紹
隨著手機的普及及其快速的更新換代，工業產線的手機外殼產品，有著極大的產量需求。從配料到最終成型的整個過程中，由于運輸、生產工藝、意外等情況，手機外殼上常常存在各種缺陷(例如磕傷、劃傷、擦傷、異色不均等)，而這些存在缺陷的產品會影響其性能或降低用戶體驗，因而是不允許流入市場的。盡管在過去的十幾年中，工業產品生產有了極大的進步且生產需求日益增加，但對相關工業產品的缺陷檢測仍依賴人工完成，現在主流的人工目視檢測不僅效率低下，而且檢測標準主觀因素大，嚴重制約工業制造的自動化進程，并且人工在線缺陷檢測不但會使成本上升，也對人力資源提出了考驗。近年來，基于機器視覺的自動化缺陷檢測方法被廣大研究者所關注，也越來越受到廠商的青睞，但現行方法檢測精度低且耗時長，不能滿足實時檢測需求，成為了制約機器取代人類進行缺陷檢測的主要因素。目前尚未有針對手機外殼的缺陷檢測專利，但存在對于手機液晶屏幕缺陷檢測以及對手機底板連接器的缺陷檢測。已有的手機缺陷檢測檢測技術，大多采用傳統的圖像處理與識別技術，例如灰度變換、圖像二值化、邊緣檢測、模板匹配等；且利用了較為經典的人工特征，例如SIFT，SURF，Haar，HOG等算子，并通過神經網絡或SVM分類器進行圖像分類。其中對手機屏幕的缺陷檢測是通過采集液晶屏清晰圖像，將采集到的圖像進行灰度處理，隨后對灰度圖像分別進行列投影和行投影，根據投影的極小值，將最開始獲取的圖像劃分為網狀的像素塊圖像，再將整個圖像劃分為多個區域，每個區域包含多個像素塊，針對各區域根據各像素塊灰度與該區域平均灰度的差距檢測出有缺陷的像素塊；從而多種像素的缺陷檢測的。而對手機底板連接器的缺陷檢測則是主要通過模板匹配進行的。首先要制作標準的手機底板連接器灰度圖像模板；隨后，對待測試圖像進行預處理和灰度變換；并分別對測試圖像和模板進行SURF算法處理獲取特征點和仿射變化，用最近鄰匹配法匹配特征點；之后，用RANSAC模型來消除誤匹配特征點；再根據仿射矩陣將待測試圖像轉換到模板尺度空間上，得到一副新圖像，分別對矯正后的測試圖像和標準圖像進行二值化，并將二值化圖像進行相減；最后，對差值圖像進行形態學處理，以此為依據判斷測試圖像是否為合格，如果有缺陷，標記缺陷位置。類似的以傳統圖像處理與特征提取為主要手段的缺陷檢測方式，還運用到了太陽能板的缺陷檢測，鋼軌的缺陷檢測，LED缺陷檢測等領域上，但是對于手機外殼的缺陷檢測這一問題，由于手機外殼缺陷存在面積較小，極其輕微，缺陷形式多種多樣，與背景對比度不強的特點，上述傳統算法并不能良好地應用于手機外殼的缺陷檢測中，無論從處理時間還是檢測的精準度上，都不能滿足工業生產的需求。
技術實現思路
本專利技術的目的就是為了克服上述現有技術存在的缺陷而提供一種基于深度學習的手機外殼缺陷檢測方法。本專利技術的目的可以通過以下技術方案來實現：一種基于深度學習的手機外殼缺陷檢測方法，該方法包括如下步驟：(1)獲取待檢測手機外殼圖像并進行預處理；(2)將預處理后的圖像輸入至預先訓練好的缺陷檢測模型進行缺陷檢測得到手機外殼上存在缺陷的位置，并給出該位置為缺陷的置信度；其中，缺陷檢測模型為基于深度學習的深度網絡，包括依次級聯而成的特征提取網絡以及分類器與回歸器網絡，所述的特征提取網絡對預處理的圖像進行特征提取得到特征圖像，所述的分類器與回歸器網絡對特征圖像進行分類回歸得到手機外殼缺陷位置以及置信度。步驟(1)中預處理具體包括如下步驟：(101)將待檢測手機外殼圖像進行尺寸變換至設定大小；(102)將步驟(101)中尺寸變換后的圖像進行邊緣檢測得到邊緣圖像；(103)對邊緣圖像進行霍夫變換并提取檢測區域得到長條形圖像；(104)將長條形圖像進行傾斜校正并將校正后的長條形圖像進行切割與拼接得到正方形圖像。步驟(102)中采用Canny算子進行邊緣檢測。缺陷檢測模型的訓練方法為：(a)建立所述的深度網絡；(b)采集大量手機外殼圖像并進行人工標記，圈出存在缺陷的區域，給出存在缺陷區域的起點坐標與終點坐標，進而得到數據樣本；(c)將數據樣本輸入至深度網絡進行特征提取與分類回歸得到缺陷的位置和缺陷的置信度；(d)將步驟(c)得到的缺陷位置和缺陷的置信度與人工標記的結果進行對比，從而調整深度網絡中的各個鏈接權值，進而完成深度網絡的訓練。所述的特征提取網絡包括5個依次級聯的特征提取基本單元，每個特征提取單元包括依次連接的卷積層、局部響應歸一化層、最大值池化層和平均值池化層；所述的卷積層利用卷積核在圖像上滑動，對圖像進行卷積操作，從而提取輸入圖像特征得到較為粗略的特征圖；所述的局部響應歸一化層采用3像素*3像素的領域在卷積層中得到的較為粗略的特征圖上滑動，并對每個領域內的像素值進行均值和方差的歸一化，得到不受光照變化影響的粗略的特征圖；所述的最大池化層采用3像素*3像素的領域在局部響應歸一化層中得到的粗略的特征圖上滑動，并對每個領域內的所有像素值取最大值，得到具有平移不變性的較為精確的特征圖；所述的平均池化層采用3像素*3像素的領域在最大池化層中得到的較為精確的的特征圖上滑動，并對每個領域內的所有像素值取平均值，得到對微小形變有魯棒性的精確的特征圖，所述的精確的特征圖即最終對應的特征提取基本單元輸出的特征圖；經過5個依次級聯的特征提取基本單元最終輸出特征圖像。5個依次級聯的特征提取基本單元中的卷積層設置方式如下：第一個特征提取基本單元中，卷積核大小為7，用于提取較大的特征，輸出特征圖數目為30；第二個特征提取基本單元中，卷積核大小為5，用于提取中等大小的特征，輸出特征圖數目為60；第三個特征提取基本單元中，卷積核大小為3，用于提取較小的特征，輸出特征圖數目為90；第四個特征提取基本單元中，卷積核大小為3，用于提取細節特征，輸出特征圖數目為128；第五個特征提取基本單元中，卷積核大小為3，用于提取細節特征，輸出特征圖數目為256。所述的分類器與回歸器網絡依次級聯的第一全連接層和第二全連接層，所述第一全連接層輸入特征圖像，第二全連接層輸出端連接有分類器和回歸器；所述的第一全連接層對特征提取網絡輸出的特征圖像進行加權計算，得到特征向量；所述的第二全連接層對第一全連接層輸出的特征向量進行加權計算，得到細化且特征突出的特征向量；所述的分類器對第二全連接層輸出的細化且特征突出的特征向量進行判斷，判斷是否屬于缺陷并給出屬于缺陷的置信度；所述的回歸器對第二全連接層輸出的細化且特征突出的特征向量進行回歸處理，得到檢測出的缺陷的位置信息。與現有技術相比，本專利技術具有如下優點：(1)本專利技術建立基于深度學習的深度網絡并進行訓練得到缺陷檢測模型，通過該缺陷檢測模型進行缺陷檢測，檢測精度高，檢測結果準確可靠；(2)本專利技術對待檢測手機外殼圖像進行一系列的預處理，一方面減少后續程序的處理量，提高檢測速度，另一方面對提取出的區域進行了局部放大，使可能存在缺陷的位置更加突出，即缺陷特征更為突出，為后面的特征提取步驟做好準備，最終提高檢出率降低錯誤率；(3)本專利技術采用Canny算子進行邊緣檢測，Canny邊緣提取的效果好，在設定合本文檔來自技高網...

【技術保護點】
一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，該方法包括如下步驟：(1)獲取待檢測手機外殼圖像并進行預處理；(2)將預處理后的圖像輸入至預先訓練好的缺陷檢測模型進行缺陷檢測得到手機外殼上存在缺陷的位置，并給出該位置為缺陷的置信度；其中，缺陷檢測模型為基于深度學習的深度網絡，包括依次級聯而成的特征提取網絡以及分類器與回歸器網絡，所述的特征提取網絡對預處理的圖像進行特征提取得到特征圖像，所述的分類器與回歸器網絡對特征圖像進行分類回歸得到手機外殼缺陷位置以及置信度。

【技術特征摘要】
1.一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，該方法包括如下步驟：(1)獲取待檢測手機外殼圖像并進行預處理；(2)將預處理后的圖像輸入至預先訓練好的缺陷檢測模型進行缺陷檢測得到手機外殼上存在缺陷的位置，并給出該位置為缺陷的置信度；其中，缺陷檢測模型為基于深度學習的深度網絡，包括依次級聯而成的特征提取網絡以及分類器與回歸器網絡，所述的特征提取網絡對預處理的圖像進行特征提取得到特征圖像，所述的分類器與回歸器網絡對特征圖像進行分類回歸得到手機外殼缺陷位置以及置信度。2.根據權利要求1所述的一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，步驟(1)中預處理具體包括如下步驟：(101)將待檢測手機外殼圖像進行尺寸變換至設定大小；(102)將步驟(101)中尺寸變換后的圖像進行邊緣檢測得到邊緣圖像；(103)對邊緣圖像進行霍夫變換并提取檢測區域得到長條形圖像；(104)將長條形圖像進行傾斜校正并將校正后的長條形圖像進行切割與拼接得到正方形圖像。3.根據權利要求2所述的一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，步驟(102)中采用Canny算子進行邊緣檢測。4.根據權利要求1所述的一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，缺陷檢測模型的訓練方法為：(a)建立所述的深度網絡；(b)采集大量手機外殼圖像并進行人工標記，圈出存在缺陷的區域，給出存在缺陷區域的起點坐標與終點坐標，進而得到數據樣本；(c)將數據樣本輸入至深度網絡進行特征提取與分類回歸得到缺陷的位置和缺陷的置信度；(d)將步驟(c)得到的缺陷位置和缺陷的置信度與人工標記的結果進行對比，從而調整深度網絡中的各個鏈接權值，進而完成深度網絡的訓練。5.根據權利要求1所述的一種基于深度學習的手機外殼缺陷檢測方法，其特征在于，所述的特征提取網絡包括5個依次級聯的特征提取基本單元，每個特征提取單元包括依次連接的卷積層、局部響應歸一化層、最大值池化層和平均值池化層；所述的卷積層利用卷積核在圖像上滑動，對圖像進行卷積操作，從而提取輸入圖像特征得到較為粗...

【專利技術屬性】
技術研發人員：李樹，陳啟軍，王德明，顏熠，
申請(專利權)人：同濟大學，
類型：發明
國別省市：上海,31