【技術實現步驟摘要】
本專利技術涉及圖像視頻算法評測技術，尤其涉及一種基于沙盒機制的輸變電圖像算法評測系統及方法。
技術介紹
1、隨著圖像視頻處理技術的快速發展，出現了多種算法以滿足不同的應用需求，如圖像識別、視頻分析等。現有圖像視頻算法評測方法大多都依賴于人工設定的數據集和評測指標，存在以下幾個主要的問題：缺乏對數據集的管理、評估標準不統一、數據篡改、標注文件泄漏、自動化程度低、評估結果展示不直觀等。因此迫切需要一種新型的圖像視頻算法評估方法，能夠克服上述的局限性，實現對算法性能更為全面、安全、公正、客觀、自動化的評估這些算法的性能。
技術實現思路
1、本專利技術的目的在于解決上述現有技術的不足從而提供一種基于沙盒機制的輸變電圖像算法評測系統及方法。本專利技術能夠為圖像視頻處理算法的研發者和用戶提供一個公平、安全的比較環境，幫助提高算法的質量和可信度。
2、為實現本專利技術的目的，本專利技術所采用的技術方案是：一種基于沙盒機制的輸變電圖像算法評測系統，包括：
3、sdk管理模塊，用于管理測試廠商提交的測試算法的sdk包，規定統一的?sdk?通信協議和規范，使所有提交的sdk?包能夠在相同的框架內交互，實現標準化的數據交換和功能調用；
4、數據集管理模塊，用于對測試數據集進行格式和完整性檢查，確保數據的一致性和完整性，并統一測試數據集的數據和標簽；
5、性能評估模塊；
6、沙盒機制模塊，用于給性能評估模塊構建標準化的測試環境；
7、
8、所述性能評估模塊用于將經sdk管理模塊處理的待測試算法和經數據集管理模塊處理的待測試數據集映射至配置好測試環境的性能評估模塊進行算法測試，并將評測結果導入至結果導出模塊。
9、還包括數據庫，所述數據庫用于存儲經sdk管理模塊處理的待測試算法及經數據集管理模塊處理的待測試數據集。
10、沙盒機制模塊，具體用于：
11、基于linux系統的控制組cgroup?和命名空間namespace技術設置固定的cpu、內存、顯存、磁盤和網絡限制，模擬需測試輸變場景的測試環境。
12、包括以下步驟：
13、步驟1：系統啟動與場景選擇；
14、步驟2：通過沙盒機制模塊配置性能評估模塊運行環境；
15、步驟3：測試數據集及與測試算法的sdk包處理；
16、步驟4：將處理后的測試數據集與測試算法的sdk包映射至配置好運行環境的性能評估模塊內；
17、步驟5：在性能評估模塊中執行sdk的啟動腳本./run.sh，并通過http請求將測試數據集的路徑發送到sdk服務，觸發算法推理流程，進行測試；
18、步驟6：實時監控測試中sdk服務的性能指標，將性能指標測試結果經結果導出模塊記錄到數據庫中，并生成詳細的性能分析報告。
19、步驟1具體為：
20、用戶通過命令行界面或圖形用戶界面啟動性能測試系統；
21、用戶根據性能測試系統提供交互式菜單選擇特定的測試場景。
22、步驟2，具體為：
23、通過執行unshare?-n命令創建新的網絡命名空間，隔離網絡環境；
24、使用os.chroot設置沙盒環境程序運行的根目錄，確保測試環境的文件系統隔離。
25、創建cgroup組：通過cgcreate創建控制組，設置cpu、內存、顯存、磁盤和網絡資源的限制。
26、通過cgcreate創建控制組，設置cpu、內存、顯存、磁盤和網絡資源的限制，具體為：
27、cpu限制：echo?1?>?cpu.cores；
28、內存限制：echo?1024m?>?memory.limit_in_bytes；
29、顯存限制：?nvidia-smi?--gpu-reset?-i?gpu_id?--mem-percent=limit；
30、磁盤限制：配置磁盤配額或使用cgset?-r?blkio.weight=1000?my_cgroup；
31、網絡限制：使用tc工具限制網絡帶寬。
32、步驟3，具體為：
33、將預定義的測試數據集導入數據集管理模塊進行處理；
34、將待測試算法的sdk包導入sdk管理模塊進行處理。
35、步驟4，具體為：
36、將處理后的測試數據集與測試算法的sdk包通過mount命令映射至配置好運行環境的沙盒模塊內，確保測試數據和sdk的隔離性。
37、還包括以下步驟：
38、步驟7：完成性能測試后，測試系統自動清理分配給測試環境的資源，包括刪除cgroup、解除mount點等。
39、本專利技術的有益效果在于，與現有技術相比，本專利技術能夠為圖像視頻處理算法的研發者和用戶提供一個公平、安全的比較環境，幫助提高算法的質量和可信度。基于沙盒機制可以確保算法評測在完全獨立的環境中進行，這種隔離技術不僅防止了惡意軟件的潛在威脅，還確保了評測過程中數據的完整性和安全性。
本文檔來自技高網...【技術保護點】
1.一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，包括：
2.根據權利要求1所述的一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，還包括數據庫，所述數據庫用于存儲經SDK管理模塊處理的待測試算法及經數據集管理模塊處理的待測試數據集。
3.根據權利要求1或2所述的一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，沙盒機制模塊，具體用于：
4.一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，包括以下步驟：
5.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，步驟1具體為：
6.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，步驟2，具體為：
7.根據權利要求6所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，通過cgcreate創建控制組，設置CPU、內存、顯存、磁盤和網絡資源的限制，具體為：
8.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，步驟3，具體為：
9.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，步驟4，具體為：
10.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，還包括以下步驟：
...【技術特征摘要】
1.一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，包括：
2.根據權利要求1所述的一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，還包括數據庫，所述數據庫用于存儲經sdk管理模塊處理的待測試算法及經數據集管理模塊處理的待測試數據集。
3.根據權利要求1或2所述的一種基于沙盒機制的輸變電圖像算法評測系統，其特征在于，沙盒機制模塊，具體用于：
4.一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，包括以下步驟：
5.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像算法評測系統進行輸變電圖像算法評測的方法，其特征在于，步驟1具體為：
6.根據權利要求4所述一種使用上述基于沙盒機制的輸變電圖像...
【專利技術屬性】
技術研發人員：簡旭，賀家慧，姚堯，吳彤，李勁彬，鄒婧怡，謝齊家，劉睿，付劍津，潘碩，
申請(專利權)人：國網湖北省電力有限公司電力科學研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。