一種基于LR-CenterNet的快餐菜品旋轉目標檢測方法技術

本發明專利技術公開了一種基于LR

【技術實現步驟摘要】
一種基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法


[0001]本專利技術屬于圖像目標檢測領域，具體涉及一種基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法。

技術介紹

[0002]隨著深度學習技術的深入發展和日漸成熟，深度學習技術在人臉識別、語音識別、自然語言處理、無人駕駛等領域都作出了巨大的貢獻，極大地便利了人類的生活。餐飲行業也不例外的在深度學習技術的加持下實現菜品的自動識別、自動計價、營養分析等更加便利的功能，極大地減少了收銀員的工作負擔、提高收銀效率、較少了顧客排隊和等待的時長。深度學習方法與通過餐盤底部內嵌RFID射頻芯片等類似的借助硬件輔助而實現的菜品識別方法相比具有高效、經濟、易遷移的絕對優勢。從目前來看，使用深度學習方法實現菜品識別功能的技術主要包括兩類：One
?
Stage方法和Two
?
Stage方法。
[0003]One
?
Stage方法直接通過主干網絡提取特征來同時預測物體的位置和類別。常見的One
?
Stage算法有YOLO系列和SSD算法。Two
?
Stage方法將檢測分為兩步，主要思想是先通過卷積神經網絡生成一系列的目標區域候選區域，即區域建議，然后對這些目標候選區域進行分類和回歸，代表算法有R
?
CNN、Fast R
?
CNN等。
[0004]通過對餐飲行業的充分調研和分析后發現，某一個快餐餐廳的菜單隨著季節變化、菜品原料價格的浮動而經常性的發生變化，但同時每一個快餐餐廳用于盛裝菜品的餐盤是固定不變的。對于One
?
Stage方法來說，菜單的經常性變化就會導致其網絡模型的經常性更新，且One
?
Stage方法的網絡訓練時間通常較長(YOLOv3的訓練時長為5～8小時)，模型更新不便利，且模型識別準確率不如Two
?
Stage方法。對于Two
?
Stage方法，盛裝菜品的餐盤固定不變意味著菜品的位置信息的特征是長期穩定的，餐廳菜單更新時只需要更新Two
?
Stage方法中的分類和回歸部分的網絡模型，而不需要更新生成菜品候選區域的網絡模型部分。因此，在快餐行業的實際應用場景中，Two
?
Stage方法比One
?
Stage方法更加合適。
[0005]但是，Two
?
Stage方法在識別菜品位置時使用的是矩形框進行位置的標注，如圖1所示，這種標注方法在一些不規則的尤其是采用長方形或類長方形菜碟盛放的不規則菜品圖像中，會產生大量的背景噪聲，影響下一步菜品的分類和回歸的準確率。
[0006]因此，如何在Two
?
Stage方法中，針對含有長方形菜碟的不規則菜品圖像實現快速、準確的目標檢測獲得代表其位置的外包框，是目前亟待解決的技術問題。

技術實現思路

[0007]本專利技術的目的在于解決現有技術中針對含有長方形菜碟的不規則菜品圖像的目標檢測速度較慢、準確率不高的問題，并提供一種基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法。
[0008]本專利技術所采用的具體技術方案如下：
[0009]一種基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其包括：
[0010]S1、獲取通過俯拍得到的快餐菜品圖像數據集，數據集中的每一張菜品圖像中包含餐盤以及放置于餐盤上通過碗碟盛放的至少一個菜品；對數據集中的每一張菜品圖像的四個邊界進行外擴填充，并對填充后的菜品圖像進行數據增強處理；
[0011]S2、對經過S1中數據增強后的數據集中每張菜品圖像進行菜品邊界框的標注，將菜品邊界框的中心點、菜品邊界框的長度和寬度、菜品類型以及邊界框旋轉角度作為標注標簽；
[0012]S3、利用帶有標注標簽的數據集訓練LR
?
CenterNet網絡模型，直至網絡收斂后，得到快餐菜品檢測模型；
[0013]所述LR
?
CenterNet網絡模型以CenterNet網絡為基礎，將CenterNet網絡中提取特征的主干網絡替換為MobileNet
?
V3網絡，同時在CenterNet網絡原有的分別用于預測關鍵點熱力圖、預測框高度和寬度尺寸、預測框中心點偏置的三個回歸分支之外增加第四個回歸分支，通過第四個回歸分支輸出預測框旋轉角度；
[0014]訓練LR
?
CenterNet網絡模型的總損失函數為CenterNet網絡原有的三個損失項與預測框旋轉角度損失的加權和，且預測框旋轉角度損失采用L1損失；
[0015]S4、將待檢測的快餐菜品圖像輸入所述快餐菜品檢測模型中，輸出菜品邊界框的中心點、菜品邊界框的長度和寬度、菜品類型、以及邊界框旋轉角度，從而確定圖像中的菜品所在位置。
[0016]作為優選，所述快餐菜品圖像通過高拍儀進行俯拍。
[0017]作為優選，對數據集中的菜品圖像進行外擴填充時，菜品圖像的上下左右四個邊界分別向外填充的像素寬度應當保證斜向標注的菜品邊界框不會超出填充后的圖像范圍。
[0018]作為優選，菜品圖像的上下左右四個邊界分別向外填充70～100像素。
[0019]作為優選，所述數據增強處理是對圖像隨機加入少量的高斯噪聲。
[0020]作為優選，在標注過程中，所述菜品類型不做區分，全部標注為統一類型，使訓練后得到的快餐菜品檢測模型僅檢測菜品位置而不檢測菜品類型。
[0021]作為優選，所述預測框角度損失的形式為：
[0022][0023]式中：A
k
為圖像中第k個目標的邊界框旋轉角度真實值，為圖像中第k個目標的預測邊界框旋轉角度預測值，N為圖像中關鍵點的數量。
[0024]作為優選，所述總損失函數的形式為：
[0025]L＝L
k
+λ
size
L
size
+λ
off
L
off
+λ
angle
L
angle
[0026]式中：L表示總損失，L
k
表示CenterNet網絡原有的中心點預測損失，L
size
表示CenterNet網絡原有的預測框尺寸損失，L
off
表示CenterNet網絡原有的預測框中心點偏置損失，L
angle
表示預測框角度損失，λ
size
、λ
off
、λ
angle
分別為對應權重。
[0027]作為優選，所述權重λ
size
、λ
off
、λ
angle
的取值優選為0.1、1、0.本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其特征在于，包括：S1、獲取通過俯拍得到的快餐菜品圖像數據集，數據集中的每一張菜品圖像中包含餐盤以及放置于餐盤上通過碗碟盛放的至少一個菜品；對數據集中的每一張菜品圖像的四個邊界進行外擴填充，并對填充后的菜品圖像進行數據增強處理；S2、對經過S1中數據增強后的數據集中每張菜品圖像進行菜品邊界框的標注，將菜品邊界框的中心點、菜品邊界框的長度和寬度、菜品類型以及邊界框旋轉角度作為標注標簽；S3、利用帶有標注標簽的數據集訓練LR
?
CenterNet網絡模型，直至網絡收斂后，得到快餐菜品檢測模型；所述LR
?
CenterNet網絡模型以CenterNet網絡為基礎，將CenterNet網絡中提取特征的主干網絡替換為MobileNet
?
V3網絡，同時在CenterNet網絡原有的分別用于預測關鍵點熱力圖、預測框高度和寬度尺寸、預測框中心點偏置的三個回歸分支之外增加第四個回歸分支，通過第四個回歸分支輸出預測框旋轉角度；訓練LR
?
CenterNet網絡模型的總損失函數為CenterNet網絡原有的三個損失項與預測框旋轉角度損失的加權和，且預測框旋轉角度損失采用L1損失；S4、將待檢測的快餐菜品圖像輸入所述快餐菜品檢測模型中，輸出菜品邊界框的中心點、菜品邊界框的長度和寬度、菜品類型、以及邊界框旋轉角度，從而確定圖像中的菜品所在位置。2.如權利要求1所述的基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其特征在于，所述快餐菜品圖像通過高拍儀進行俯拍。3.如權利要求1所述的基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其特征在于，對數據集中的菜品圖像進行外擴填充時，菜品圖像的上下左右四個邊界分別向外填充的像素寬度應當保證斜向標注的菜品邊界框不會超出填充后的圖像范圍。4.如權利要求3所述的基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其特征在于，菜品圖像的上下左右四個邊界分別向外填充70～100像素。5.如權利要求1所述的基于LR
?
CenterNet的快餐菜品旋轉目標檢測方法，其特征在于，所述數...

【專利技術屬性】
技術研發人員：劉俊，張俊峰，李萬清，李棖，柳佳樂，陳超強，唐瑩，
申請(專利權)人：紹興數鴻科技有限公司，
類型：發明
國別省市：