基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法技術

基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法,包括：1)自定義深度卷積神經網絡，利用已有的訓練數據訓練一個用來檢測手機屏幕MURA缺陷的神經網絡；2)利用自適應模板匹配的方法來進行卷積神經網絡的剪枝操作，減小網絡規模，縮短算法運行時間；3)將高分辨率相機拍攝的手機屏幕圖片進行不同比例的縮放，形成圖片金字塔，對于每個尺度的圖片，利用滑窗的方法將圖片分割成小塊，將所有小塊圖片作為一個組一起送入卷積神經網絡中；4)選取中間層的所有特征圖作為缺陷的響應圖，采用閾值分割的方法最終獲得手機屏幕MURA缺陷區域位置。

Mobile phone screen MURA defect detection method based on convolutional neural network pruning algorithm

Including mobile phone screen MURA defect detection method, convolution neural network pruning algorithm based on custom depth: 1) convolutional neural network, using the existing training data to train a mobile phone screen is used to detect the defects of MURA neural network; 2) pruning operation to convolutional neural network method using adaptive template matching, reduce the network size. Shorten the running time of the algorithm; 3) the high resolution camera mobile phone screen pictures in different proportion zoom, form a picture of Pyramid, for each scale image, using the method of sliding window pictures will be divided into small pieces, all the small picture together as a group to the convolutional neural network; 4) selects all feature maps the middle layer of the map as a response to defects, using the method of threshold segmentation obtained by mobile phone screen MURA defect location.

【技術實現步驟摘要】
基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法
本專利技術屬于目標檢測與識別領域，涉及從圖像中檢測特定目標，具體是檢測手機屏幕缺陷的方法。
技術介紹
傳統的用人工檢測屏幕瑕疵方法存在諸多不足之處，在工業生產高速發展的今天，它已經完全無法適應當今工業生產高效、準確的要求。對手機屏幕產商而言，尋找一種高效、準確的自動化檢測設備用以替代人工檢測環節，成為了迫切的需求。隨著計算機視覺、圖像處理等領域的發展，基于機器視覺的自動化檢測系統成為了一種良好的解決方案。該方案通過高分辨率工業相機采集手機屏幕圖像，然后將圖像信息通過圖像分析模塊進行實時的處理，從而判斷手機屏幕是否合格。傳統的基于機器視覺的屏幕缺陷檢測算法，大多是針對一種或幾種類別的屏幕缺陷進行設計的，不具有通用性，所以對于特殊的瑕疵，需要寫專門的算法。由于屏幕的特殊性，拍照時在成像上的摩爾紋是不可避免的，而傳統算法不能很好地解決摩爾紋問題。另外，傳統的算法雖然可以檢測較明顯的線狀、點狀缺陷，但是對于成像上很淡的團狀MURA缺陷，準確率很低。最后，傳統的屏幕缺陷檢測算法需要調節大量參數，尤其是在屏幕產品換型時，調整大量參數會導致時間的浪費。因此，設計一個具有良好泛化性的算法具有非常實用的價值。近年來，深度學習方法在計算機視覺領域產生了巨大的影響。深度學習采用多層網絡結構，模擬人腦中神經系統的層次關系和傳遞方式，它已經在模式識別的多個領域得到了廣泛的應用并取得了良好的成績。本方法采用基于深度卷積神經網絡的分類算法，使用預處理后的手機屏幕局部圖像塊作為分類器的輸入，然后抽取卷積神經網絡的特征圖作為檢測結果，將缺陷檢測問題轉變成一個圖像塊分類問題，通過此方法得到的深度模型不僅能夠有效地學習到圖像的背景紋理模式，從含有背景紋理的圖像塊中準確地定位缺陷的位置，而且對于團狀MURA缺陷有很高的準確率。此外，使用卷積神經網絡算法相比傳統算法，參數設置更少，由于算法具有良好的通用性，尤其適用于屏幕產品的快速換型，縮短換型時間，提高產線效率。
技術實現思路
本專利技術要克服基于機器視覺的屏幕缺陷檢測算法的上述缺陷，提供一種基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法。為實現上述目的，本專利技術所述的基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法包括如下步驟：1)自定義卷積神經網絡，通過訓練數據訓練該網絡直到收斂并且有較高準確率；2)通過自適應模板匹配的方法來進行卷積神經網絡的剪枝，縮小網絡規模和網絡參數；3)采集手機屏幕圖片數據，生成圖片金字塔，分割成圖片塊，用于測試階段數據生成，送入到步驟2)獲得的剪枝后的卷積神經網絡中進行運算；4)取中間隱層的特征圖之和作為響應圖，采用閾值分割的方法獲得缺陷最終位置并圈出，該方法尤其用于檢測MURA缺陷。步驟2)所述的自適應模板匹配的剪枝具體是：把網絡中間隱層的特征圖有響應的部分對應到原圖中，該部分作為前景，剩下部分作為背景，計算前景和背景的平均亮度差異；取差異最大的若干個特征圖進行保留；把剩下的特征圖和與之相關的卷積核從網絡上剪枝。步驟3)所述的圖片金字塔具體是：將原始高分辨率圖片縮小成不同尺度的圖片，這些不同尺度的圖片合起來稱為一組圖片金字塔。使用圖片金字塔的目的是來檢測不同尺度上、不同大小的瑕疵。步驟4)所述的響應圖具體是：采用的是第4個卷積層的輸出，把剪枝后網絡該層的特征圖之和作為缺陷的響應圖。本專利技術的有益效果如下：本專利技術是一種基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法。它基于深度學習的卷積神經網絡算法，采用自適應模板匹配的方法進行網絡剪枝，壓縮網絡模型和參數，以達到接近實時的效果。另外，由于卷積神經網絡算法能夠自動地學習到背景紋理信息，可以較好地處理成像中的摩爾紋干擾。在屏幕產品換型時，只需要少量的訓練圖片進行網絡微調，就可以重新保證網絡的準確率達標。與傳統方法相比，本專利技術能夠更有效地檢測成像較淡的缺陷，如團狀MURA缺陷。此外，傳統方法需要設置大量參數，每次換型都需要調整參數才能保證算法的準確性。本專利技術采用的神經網絡算法具有良好的自適應和泛化特性，能夠快速進行屏幕產品換型，節省產線部署時間。附圖說明圖1是本專利技術的自適應模板匹配剪枝算法框架圖。圖2是本專利技術的圖片金字塔到分割成圖片小塊的圖示。具體實施方式下面對本專利技術的技術方案進行清晰、完整的解釋和描述。本專利技術提出了基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法，該方法在已經拍攝的手機屏幕圖片上，利用卷積神經網絡算法確定瑕疵在圖片上的位置并圈出。本專利技術基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法包括如下步驟：步驟1，訓練階段數據采集：分別采集包含瑕疵和正常圖片小塊，進行標記(1表示包含瑕疵圖片，0表示正常圖片)。按照9：1的比例分成訓練集和驗證集；自定義卷積神經網絡，利用上述的訓練數據，訓練卷積神經網絡直到收斂，并且能夠在驗證集上達到較高的分類準確率。通過觀察可視化卷積神經網絡中間隱層的特征圖，可以分析網絡是否很好的學到了瑕疵特征。步驟2，利用自適應模板匹配的方法對卷積神經網絡進行剪枝，縮小網絡規模和網絡參數。具體地，在第L個卷積層上的所有N個特征圖，將第i個(i＜N)特征圖學到的響應位置對應回原圖，該部分位置作為前景模板，原圖的剩余位置作為背景模板，計算前景模板和背景模板的平均亮度差異Di。對所有的Di進行降序排序，取前K個(K＜N)平均亮度差異Di最大的特征圖之和作為響應圖。剩余的特征圖和其對應的卷積核直接被剪枝，如圖1所示。剪枝后整個網絡再重新訓練，確保剪枝后的網絡仍有較高的準確率。步驟3，測試階段數據生成：采集手機屏幕圖片數據，圖片包含且僅包含完整的手機屏幕位置。利用不同比例的縮放尺度將圖片展成圖像金字塔，用于多尺度檢測。對于每個尺度的圖片，分割成固定大小的圖片塊，將所有的圖片塊作為一組，作為卷積神經網絡的一次輸入數據，如圖2所示。步驟4，每一個圖片塊選取第4個卷積層的所有特征圖之和作為響應圖，將響應圖重新對應到原圖，通過閾值分割的方法，獲得瑕疵的最終位置，并且圈出。本文檔來自技高網...

【技術保護點】
基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法，包括如下步驟：1)自定義卷積神經網絡，通過訓練數據訓練該網絡直到收斂并且有較高準確率；2)通過自適應模板匹配的方法來進行卷積神經網絡的剪枝，縮小網絡規模和網絡參數；3)采集手機屏幕圖片數據，生成圖片金字塔，分割成圖片塊，用于測試階段數據生成，送入到步驟2)獲得的剪枝后的卷積神經網絡中進行運算；4)取中間隱層的特征圖之和作為響應圖，采用閾值分割的方法獲得缺陷最終位置并圈出，該方法尤其用于檢測MURA缺陷。

【技術特征摘要】
1.基于卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法，包括如下步驟：1)自定義卷積神經網絡，通過訓練數據訓練該網絡直到收斂并且有較高準確率；2)通過自適應模板匹配的方法來進行卷積神經網絡的剪枝，縮小網絡規模和網絡參數；3)采集手機屏幕圖片數據，生成圖片金字塔，分割成圖片塊，用于測試階段數據生成，送入到步驟2)獲得的剪枝后的卷積神經網絡中進行運算；4)取中間隱層的特征圖之和作為響應圖，采用閾值分割的方法獲得缺陷最終位置并圈出，該方法尤其用于檢測MURA缺陷。2.根據權利要求1所述的方法，其特征在于：步驟2)所述的自適應模板匹配的剪枝具體是：...

【專利技術屬性】
技術研發人員：宋明黎，高鑫，沈紅佳，邱畫謀，
申請(專利權)人：浙江大學，
類型：發明
國別省市：浙江,33