【技術實現步驟摘要】
本專利技術涉及計算機視覺領域，具體涉及一種基于rk3588平臺的輕量化人臉性別年齡估計方法及裝置。
技術介紹
1、年齡估計系統能夠自動判斷人的年齡，年齡信息作為一種生物特征，除了對使用者身份有著非常重要的影響，還能提高人臉識別系統的性能。隨著深度學習方法的興起，人臉識別的深度學習算法的識別率和準確率也越來越高，但是人臉和性別年齡等特征的綜合識別和評估的實時性不足，基于深度學習的輕量化設計及優化成為主流。
2、由于使用邊緣設備部署深度學習模型的資源有限，目前多通過輕量化設計網絡和模型壓縮以及采用高性能ai平臺進行設計。如何在計算資源有限的終端設備上實現人臉識別和年齡估計，并且識別精度和估計準確性損失不大的情況下，提高算法的實時性及推理速度，成為現階段人臉識別和年齡估計系統需要解決的問題。
技術實現思路
1、本專利技術的目的在于克服上述現有技術的缺點，提供一種基于rk3588平臺的輕量化人臉性別年齡估計方法及裝置。
2、為了實現上述目的，本專利技術采用如下技術方案：
3、一種基于rk3588平臺的輕量化人臉性別年齡估計方法，包括以下步驟：
4、s1：采用攝像頭模組輸出視頻流，采用v4l2框架對視頻流進行圖像采集；
5、s2：對采集后的圖像通過rga硬件加速模塊作圖像前處理，進行圖像縮放和格式轉換；
6、優選地，所述圖像前處理采用rk3588平臺上的rga硬件加速模塊，所述rga硬件加速模塊用于圖像加速處理，將圖像的
7、s3：采用數據集對人臉識別yolov8n模型進行訓練，優化訓練后的yolov8n模型的輸出通道數，得到yolov8n輕量化模型，將前處理后的圖像輸入yolov8n輕量化模型，并在模型推理和數據處理時將模型分別送入npu及cpu中以加速處理，之后輸出推理結果；
8、優選地，所述yolov8n模型采用wider?face數據集進行訓練。
9、優選地，所述步驟s3中優化及加速處理的步驟為：
10、s3.1：將訓練得到的pt后綴的文件轉化成onnx后綴的模型；
11、s3.2：將onnx模型導入netron可視化工具并打開；
12、s3.3：找到模型節點/model.22/concat、/model.22/concat_1、/model.22/concat_3和/model.22/concat_2，并采用remove函數將onnx模型從所述模型節點處截斷，以獲取多個輸出通道，得到yolov8n輕量化模型；
13、s3.4：對被截斷的onnx主模型在npu上進行歸一化、量化及模型推理，對截斷的onnx尾部模型在多核cpu上進行數據排布格式和反量化處理，所述數據排布格式為將nc1hwc2轉化為nhwc格式或nchw格式，所述量化為將float16數據轉化成int8數據，所述反量化為將int8數據轉化為float16數據。
14、優選地，所述步驟s3中優化后的輸出通道數為6，yolov8n輕量化模型輸出的6組通道數據分別為3個特征圖數據和3個得分數據，3個特征圖數據為1x64x80x80、1x64x40x40和1x64x20x20，3個得分數據為1x1x80x80、1x1x40x40和1x1x20x20。
15、s4：對推理結果采用多線程異步策略進行圖像后處理，所述圖像后處理包括通過過濾和非極大值抑制對模型輸出的邊界框進行處理，獲得人臉識別結果。
16、s5：將后處理后的人臉識別結果送入性別識別模型和/或年齡估計模型中進行推理，得到性別識別和/或年齡估計結果，所述性別識別模型采用性別特征網絡，所述年齡估計模型采用年齡特征網絡，所述性別特征網絡和年齡特征網絡均采用非對稱量化處理。
17、優選地，所述性別特征網絡和年齡特征網絡均采用utkface數據集進行訓練。
18、優選地，所述步驟s5中多線程處理包括采用線程池策略，將1x64x80x80和其對應的類別矩陣1x1x80x80均通過第一線程進行處理，將1x64x40x40和其對應的類別矩陣1x64x20x20、1x64x20x20和其對應的類別矩陣1x1x20x20均通過第二線程進行處理。
19、s6：將性別識別和/或年齡估計結果通過mpp模塊疊加到圖像上進行編碼，編碼后的圖像通過rtsp推流，傳輸至vlc軟件進行解碼顯示。
20、一種基于rk3588平臺的輕量化人臉性別年齡估計裝置，包括攝像頭模組，rk3588開發板和計算機，所述攝像頭模組與rk3588開發板的rga模塊的輸入端連接，所述rk3588開發板與計算機通過網線連接，所述計算機用于遠端顯示。
21、優選地，所述攝像頭模組采用800w單目攝像頭，型號為cam-8ms1m。
22、本專利技術通過將攝像頭模組輸入的視頻采用rga硬件加速模塊進行加速處理，轉化成yolov8n模型推理所需的格式，使用輕量化設計和多線程加速設計，裁剪網絡推理實現人臉檢測和性別年齡特征估計攝像頭輸入視頻流，進行人臉識別和性別年齡特征估計，并將視頻流疊加人臉特征信息通過rk3588平臺進行硬件編碼，并實時推流。實現了性別和年齡估計，提高了人臉特征檢測的維度，采用輕量化設計，降低了參數量，并且提高了處理速度。
本文檔來自技高網...【技術保護點】
1.一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步驟S3中優化及加速處理的步驟為：
3.根據權利要求1所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述圖像前處理采用RK3588平臺上的RGA硬件加速模塊，所述RGA硬件加速模塊用于圖像加速處理，將圖像的分辨率由1920*1080縮小為640*640，并且將YUV420格式的數據轉換為RGB格式。
4.根據權利要求3所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步驟S3中優化后的輸出通道數為6，yolov8n輕量化模型輸出的6組通道數據分別為3個特征圖數據和3個得分數據，3個特征圖數據為1x64x80x80、1x64x40x40和1x64x20x20，3個得分數據為1x1x80x80、1x1x40x40和1x1x20x20。
5.根據權利要求4所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方
6.根據權利要求1所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述yolov8n模型采用Wider?face數據集進行訓練，所述性別特征網絡和年齡特征網絡均采用UTKFace數據集進行訓練。
7.根據權利要求1所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步驟S1中所述攝像頭模組采用800W單目攝像頭，型號為CAM-8MS1M。
8.一種基于RK3588平臺的輕量化人臉性別年齡估計裝置，基于權利要求1-6任一項所述的一種基于RK3588平臺的輕量化人臉性別年齡估計方法，其特征在于，包括攝像頭模組，RK3588開發板和計算機，所述攝像頭模組與RK3588開發板的RGA模塊的輸入端連接，所述RK3588開發板與計算機通過網線連接，所述計算機用于遠端顯示。
...【技術特征摘要】
1.一種基于rk3588平臺的輕量化人臉性別年齡估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于rk3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步驟s3中優化及加速處理的步驟為：
3.根據權利要求1所述的一種基于rk3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述圖像前處理采用rk3588平臺上的rga硬件加速模塊，所述rga硬件加速模塊用于圖像加速處理，將圖像的分辨率由1920*1080縮小為640*640，并且將yuv420格式的數據轉換為rgb格式。
4.根據權利要求3所述的一種基于rk3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步驟s3中優化后的輸出通道數為6，yolov8n輕量化模型輸出的6組通道數據分別為3個特征圖數據和3個得分數據，3個特征圖數據為1x64x80x80、1x64x40x40和1x64x20x20，3個得分數據為1x1x80x80、1x1x40x40和1x1x20x20。
5.根據權利要求4所述的一種基于rk3588平臺的輕量化人臉性別年齡估計方法，其特征在于，所述步...
【專利技術屬性】
技術研發人員：丁鑫，趙淵明，王冠軍，張鵬，謝婷婷，巴梓軒，黃偉，曹祥杰，王燦召，婁世良，杜靜涵，王剛剛，
申請(專利權)人：中國電子科技集團公司第二十七研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。