【技術實現步驟摘要】
本專利技術涉及一種基于嵌入式的wifi相機通信系統，具體涉及一種適合嵌入式的無線視頻傳輸的視覺識別方法。
技術介紹
1、隨著嵌入式系統的不斷發展以及嵌入式芯片性能的不斷提高，無線傳輸以及深度學習算法在嵌入式設備中的應用也越來越多,而算法的高效實現與準確控制是目前追求的重要目標。
2、對于目前市面上的智能監控相機來說，一種是通過前端硬件對視頻進行智能化分析，另一種是后端服務器分析。對于這兩種部署方式來說，前端智能化硬件分析側重于對視頻的實時分析，對硬件的性能要求較高。后端智能是將信息上傳到服務器進行算法的識別，來降低硬件設備成本，但對網絡要求較高，同時需要服務器具有較高的性能來處理多個相機的大量數據，穩定性與實時性不足。
3、目前深度學習算法網絡直接部署到嵌入式設備中，會導致網絡性能降低，誤識別與虛警概率較高。
技術實現思路
1、針對上述問題，本專利技術提供了一種基于嵌入式的wifi相機通信系統，可以在前端進行智能算法的計算，應對不同的計算結果進行響應并與相關設備進行聯動。
2、本專利技術公開了一種基于嵌入式的wifi相機通信系統，主要包括海思hi3516dv300智能ai芯片、wifi模塊、轉臺聯動模塊、雙路攝像頭模塊、電源模塊、相機無線開關模塊等。
3、本專利技術具有較高的數據傳輸速度，可以上傳加密編碼視頻數據到云端并解碼播放，并可以通過云端發送指令控制相機碼率，動靜態拍照視頻模式切換，控制云臺帶動相機轉動，開啟補光燈，控制云臺轉動
4、所述的hi3516dv300是海思一款支持ai算法的智能芯片，nnie是neural?networkinference?engine的簡稱，是海思媒體soc中專門針對神經網絡特別是深度學習卷積神經網絡進行加速處理的硬件單元，支持目前大部分的公開網絡，具有1tops算力，可以實現實時的深度學習圖像檢測。
5、所述算法為本專利技術對于目標檢測算法的優化，使用一種基于yolov5s基礎網絡改進的yolo_d網絡，為了使yolov5s網絡在嵌入式設備上部署效果更好，針對嵌入式設備特性對網絡進行修改得到yolo_d網絡，使網絡在嵌入式設備中性能大幅度提高。
6、所述的wifi模塊，使用rtl8188無線wifi模塊，具有良好的網絡傳輸速度與穩定性，通過與云端上位機的連接，實現云端對智能相機的指令控制，相機將視頻數據添加幀頭幀尾封包并進行加密發送給云端，通過圖采與控制軟件對數據進行校驗，并取出視頻數據進行解碼顯示。
7、所述的轉臺聯動模塊，轉動精度為1°，俯仰角范圍為-30°到90°，方位角范圍為-170°到170°，與相機通過ttl電平串口雙向接口進行信息交互。相機通過串口接口向轉臺機構發送轉動控制指令和遙測輪詢請求；轉臺通過串口接口向相機發送應答和遙測數據。相機根據算法對視頻圖像進行檢測，并判斷識別目標所在位置，根據實際位置信息，通過串口控制轉臺轉動，使目標處于視場中心。
8、所述的雙路攝像頭模塊，由于過大和過小的目標會影響圖像的檢測與識別效果，所以通過兩路不同視場角的攝像頭來獲取不同的圖像進行識別，并根據所識別物體在市場中所占比例來作為視場切換的條件。
9、在指令相機指令接收處采用環形緩沖區來保證接收的指令數據和遙測數據完整且不遺漏，在視頻碼流封包后使用大型的環形緩沖區來存儲視頻數據等待數據的發送，防止視頻數據發送時粘包或由于wifi因素導致傳輸速度過慢而引起的視頻丟幀。
10、在wifi相機與云端設備wifi連接過程中，采用了tcp進行數據傳輸與指令接收，wifi可能會受到距離影響或者其他意外因素干擾導致wifi斷線時，本系統采用了每隔5秒發送一次心跳包的方式來判斷是否發生wifi斷線，發生后啟動斷線重連。
11、相機電源供電模塊分別配備電池和有線供電模塊，并使用samr30進行控制，可通過云端控制samr30控制相機端samr30對相機進行供電，實現遠程無線控制相機開啟與關閉。
12、本專利技術采用海思ai芯片進行前端識別，通過wifi進行指令控制與視頻流傳輸，通過切換視場來實現更好的識別效果，相較于市面上的智能相機系統有更快的識別速度，以及控制云臺對目標的自動追蹤效果，更穩定的wifi傳輸方式，并有效地降低了成本。
本文檔來自技高網...【技術保護點】
1.一種基于WiFi通信的智能跟蹤相機系統，其特征在于，包括：WiFi相機、視覺識別部署、相機電源及開關系統、云端軟件模塊、轉臺控制裝置系統；所述WiFi通信的智能跟蹤相機系統包括兩個不同視場成像傳感器、主控海思芯片、WiFi模塊、補光燈模組，用于獲取動靜態視頻流傳輸到云端，并對云端的控制指令進行響應。
2.根據權利要求1所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，所述兩個不同視場成像傳感器能夠獲取遠近不同視場的視頻數據，使目標在視場內大小適中，有利于算法識別和目標顯示。
3.根據權利要求1所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，其中主控海思芯片能夠將采集到的圖像數據設置圖像參數與幀率、曝光時間參數，將圖像數據進行視頻壓縮編碼，添加幀頭幀尾校驗等進行封包處理，并通過TCP進行數據發送；可提供深度學習部署的硬件支持，也用于接收云端模塊發送的指令并進行處理；可用于與轉臺通過串口進行指令與遙測信息交互。
4.根據權利要求1所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，其中WiFi模塊可以使相機通過WiFi與云端建立TC
5.根據權利要求1所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，所述補光燈模組能夠通過WiFi相機IO電平來控制補光燈模組開關，實現暗視野的亮度增強。
6.根據權利要求1所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，相機電源及開關系統能夠選擇通過直流電源或電池來為相機進行供電，云端通過SAMR30來與相機端SAMR30進行無線信息傳輸來控制電源開關，實現遠程無線控制相機啟動。
7.根據權利要求1-6任一項所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，云端軟件模塊包括圖采與遙測顯示軟件、指令控制軟件，其用于接收并保存數據流，建立WiFi網絡AP端，并對WiFi進行相應配置；控制相機加斷電操作。
8.根據權利要求7所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，圖采與遙測顯示軟件用于將WiFi相機發送過來的視頻流進行校驗拆包去掉幀頭幀尾并重新組幀，并顯示在軟件界面，同時解析收到遙測數據并顯示在視頻界面旁邊。
9.根據權利要求8所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，指令控制軟件通過修改軟件界面參數并發送指令控制相機成像模式、補光燈開關、轉臺角度等。
10.根據權利要求9所述的基于WiFi通信的智能跟蹤相機系統，其特征在于，轉臺控制裝置系統能夠與WiFi相機主控芯片進行實時遙測信息傳遞與WiFi相機指令控制，并可在相機實時追蹤目標時進行轉動時，通過轉臺系統的遙測信息返回來確定轉臺位置是否正確，并進行位置調整。
...【技術特征摘要】
1.一種基于wifi通信的智能跟蹤相機系統，其特征在于，包括：wifi相機、視覺識別部署、相機電源及開關系統、云端軟件模塊、轉臺控制裝置系統；所述wifi通信的智能跟蹤相機系統包括兩個不同視場成像傳感器、主控海思芯片、wifi模塊、補光燈模組，用于獲取動靜態視頻流傳輸到云端，并對云端的控制指令進行響應。
2.根據權利要求1所述的基于wifi通信的智能跟蹤相機系統，其特征在于，所述兩個不同視場成像傳感器能夠獲取遠近不同視場的視頻數據，使目標在視場內大小適中，有利于算法識別和目標顯示。
3.根據權利要求1所述的基于wifi通信的智能跟蹤相機系統，其特征在于，其中主控海思芯片能夠將采集到的圖像數據設置圖像參數與幀率、曝光時間參數，將圖像數據進行視頻壓縮編碼，添加幀頭幀尾校驗等進行封包處理，并通過tcp進行數據發送；可提供深度學習部署的硬件支持，也用于接收云端模塊發送的指令并進行處理；可用于與轉臺通過串口進行指令與遙測信息交互。
4.根據權利要求1所述的基于wifi通信的智能跟蹤相機系統，其特征在于，其中wifi模塊可以使相機通過wifi與云端建立tcp連接，并可以在一定范圍內進行快速無線數據傳輸。
5.根據權利要求1所述的基于wifi通信的智能跟蹤相機系統，其特征在于，所述補光燈模組能夠通過wifi相機io電平來控制補光燈模組開關，...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。