一種視頻中的對象標記方法和系統技術方案

本申請提供了一種視頻中的對象標記方法和系統，其中，該方法包括：獲取目標視頻圖像；對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測；根據物體檢測結果，確定各矩形框中對象的對象類別；在矩形框中的對象屬于形狀規則類別的情況下，按照矩形框對該矩形框中的對象進行標記；在矩形框中的對象屬于形狀不規則類別的情況下，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記。通過上述方案解決了現有的僅基于矩形框標記所存在的標記準確度較低的問題，對所有對象都進行邊緣標記所存在的實時處理效率較低的問題，達到了在保證標記效率的同時，保證標記準確率的技術效果。保證標記準確率的技術效果。保證標記準確率的技術效果。

【技術實現步驟摘要】
一種視頻中的對象標記方法和系統


[0001]本申請屬于視頻處理
，尤其涉及一種視頻中的對象標記方法和系統。

技術介紹

[0002]現有的對實時視頻的分析一般是采用單一任務的機器學習模型或者是深度學習模型。然而，考慮到在實際的手術環境中，所需分析的視頻內容較為復雜，既包含具有規則形狀的目標區域，也可能有不規則形狀的目標區域。因此，使用單一任務的機器學習模型或者深度模型可能造成目標檢測效果的準確性的問題，例如：物體檢測模型對不規則的血管區域檢測效果較差。
[0003]針對如何對手術視頻中的對象進行準確的目標檢測，目前尚未提出有效的解決方案。

技術實現思路

[0004]本申請目的在于提供一種視頻中的對象標記方法和系統，以實現對圖像中對象的準確高效標記，提升目標檢測的準確性。
[0005]一方面，提供了一種視頻中的對象標記方法，包括：
[0006]獲取目標視頻圖像；
[0007]對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測；
[0008]根據物體檢測結果，確定各矩形框中對象的對象類別；
[0009]在矩形框中的對象屬于形狀規則類別的情況下，按照矩形框對該矩形框中的對象進行標記；
[0010]在矩形框中的對象屬于形狀不規則類別的情況下，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記。
[0011]在一個實施方式中，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記，包括：<br/>[0012]將該矩形框內的圖像劃分為多個像素點；
[0013]確定各個像素點屬于目標對象的概率值；
[0014]將概率值超出預設閾值的像素點所形成的區域，作為目標對象的所占區域；
[0015]將所述目標對象的所占區域延邊緣進行標記，以形成對該矩形框中的對象的標記。
[0016]在一個實施方式中，對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測，包括：
[0017]通過目標檢測主干網絡將所述目標視頻圖像轉換為特征圖；
[0018]將所述特征圖輸入至區域候選網絡，得到矩形劃分結果；
[0019]將矩形劃分結果和所述特征圖輸入至識別器中，確定各矩形框內對象的對象名稱。
[0020]在一個實施方式中，獲取目標視頻圖像包括：
[0021]獲取術中實時的視頻數據和/或術后回放的視頻數據；
[0022]將該視頻數據作為目標視頻圖像。
[0023]在一個實施方式中，在對矩形框中的對象進行標記之后，還包括：
[0024]在所述目標視頻圖像的顯示界面中，疊加地顯示標記區域和識別到的對象名稱。
[0025]另一方面，提供了一種視頻中的對象標記系統，包括：
[0026]獲取模塊，用于獲取目標視頻圖像；
[0027]檢測模塊，用于對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測；
[0028]分類模塊，用于根據物體檢測結果，確定各矩形框中對象的對象類別；
[0029]第一標記模塊，用于在矩形框中的對象屬于形狀規則類別的情況下，按照矩形框對該矩形框中的對象進行標記；
[0030]第二標記模塊，用于在矩形框中的對象屬于形狀不規則類別的情況下，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記。
[0031]在一個實施方式中，所述第二標記模塊包括：劃分單元，用于將該矩形框內的圖像劃分為多個像素點；確定單元，用于確定各個像素點屬于目標對象的概率值；生成單元，用于將概率值超出預設閾值的像素點所形成的區域，作為目標對象的所占區域；標記單元，用于將所述目標對象的所占區域延邊緣進行標記，以形成對該矩形框中的對象的標記。
[0032]在一個實施方式中，所述視頻中的對象標記系統應用在手術臺車中。
[0033]又一方面，提供了一種電子設備，包括處理器以及用于存儲處理器可執行指令的存儲器，所述處理器執行所述指令時實現上述方法的步驟。
[0034]又一方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序/指令，該計算機程序/指令被處理器執行時實現上述方法的步驟。
[0035]又一方面，提供了一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現上述方法的步驟。
[0036]本申請提供的視頻中的對象標記方法，對于目標視頻圖像，先進行基于矩形框的區域標記和矩形框內對象的物體檢測，然后，根據物體檢測結果，確定各矩形框中對象的對象類別，僅對矩形框中的對象屬于形狀不規則類別的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記。即，先進行對象類別的劃分，然后僅針對需要進行邊緣標記的對象才進行邊緣標記，對于無需進行邊緣標記的對象，僅通過矩形框進行標記，而不進行邊緣標記，通過上述方式解決了現有的僅基于矩形框標記所存在的標記準確度較低的問題，又解決了對所有對象都進行邊緣標記所存在的實時處理效率較低的問題，達到了在保證標記效率的同時，保證標記準確率的技術效果。
附圖說明
[0037]為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0038]圖1是本申請提供的視頻中的對象標記方法一種實施例的方法流程圖；
[0039]圖2是本申請提供的由術中視頻得到區域分類結果的邏輯示意圖；
[0040]圖3是本申請提供的目標檢測模型的網絡結構示意圖；
[0041]圖4是本申請提供的對第二類別對象進行邊緣識別標記的方法流程圖；
[0042]圖5是本申請提供的語義分割模型的網絡結構示意圖；
[0043]圖6是本申請提供的最終結果呈現示意圖；
[0044]圖7是本申請提供的對術中視頻進行標記的邏輯示意圖；
[0045]圖8是本申請提供的訓練得到目標檢測模型的示意圖；
[0046]圖9是本申請提供的一種視頻中的對象標記方法的電子設備的硬件結構框圖；
[0047]圖10是本申請提供的視頻中的對象標記裝置一種實施例的模塊結構示意圖。
具體實施方式
[0048]為了使本
的人員更好地理解本申請中的技術方案，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本申請保護的范圍。
[0049]考慮到在所需分析的視頻內容較為復雜，既包含具有規則形狀的目標區域，也可能有不規則形狀的目標區域的情況下，如果采用單一的標記方法，將導本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種視頻中的對象標記方法，其特征在于，包括：獲取目標視頻圖像；對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測；根據物體檢測結果，確定各矩形框中對象的對象類別；在矩形框中的對象屬于形狀規則類別的情況下，按照矩形框對該矩形框中的對象進行標記；在矩形框中的對象屬于形狀不規則類別的情況下，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記。2.根據權利要求1所述的方法，其特征在于，對矩形框中的對象進行邊緣分割，基于邊緣分割結果對該矩形框中的對象進行標記，包括：將該矩形框內的圖像劃分為多個像素點；確定各個像素點屬于目標對象的概率值；將概率值超出預設閾值的像素點所形成的區域，作為目標對象的所占區域；將所述目標對象的所占區域延邊緣進行標記，以形成對該矩形框中的對象的標記。3.根據權利要求1所述的方法，其特征在于，對所述目標視頻圖像進行基于矩形框的區域標記和矩形框內對象的物體檢測，包括：通過目標檢測主干網絡將所述目標視頻圖像轉換為特征圖；將所述特征圖輸入至區域候選網絡，得到矩形劃分結果；將矩形劃分結果和所述特征圖輸入至識別器中，確定各矩形框內對象的對象名稱。4.根據權利要求1所述的方法，其特征在于，獲取目標視頻圖像包括：獲取術中實時的視頻數據和/或術后回放的視頻數據；將所述視頻數據作為目標視頻圖像。5.根據權利要求1至4中任一項所述的方法，其特征在于，在對矩形框中的對象進行標記之后，還包括：在所述目標視頻圖像的顯示界面中，...

【專利技術屬性】
技術研發人員：請求不公布姓名，
申請(專利權)人：上海微創醫療機器人集團股份有限公司，
類型：發明
國別省市：