基于光流估計的視頻跟蹤方法、裝置、設備及存儲介質制造方法及圖紙

本申請提供了一種基于光流估計的視頻跟蹤方法、裝置、設備及存儲介質，其中，該方法包括：首先將視頻中相鄰兩幀的圖像，即第一幀圖像和第二幀圖像首先輸入稠密光流預測網絡中，得到第一幀圖像的第一預測圖像，并將第一預測圖像、第一幀圖像和第二幀圖像輸入稀疏光流預測網絡中，得到目標預測圖像作為第二幀圖像的跟蹤結果。通過稠密光流預測網絡可以實現對第一幀圖像中跟蹤對象發生的明顯變化進行跟蹤，再通過稀疏光流預測網絡對第一預測圖像進行精細的微調和校正，提高了光流預測的準確性，并且根據稠密光流預測網絡和稀疏光流預測網絡預測到的光流對第一幀圖像上的跟蹤標識進行相應的形變，提高了視頻跟蹤的準確性與可靠性。性。性。

【技術實現步驟摘要】
基于光流估計的視頻跟蹤方法、裝置、設備及存儲介質


[0001]本申請涉及視頻跟蹤
，具體而言，涉及一種基于光流估計的視頻跟蹤方法、裝置、設備及存儲介質。

技術介紹

[0002]光流估計利用圖像序列中像素的變化以及相鄰幀之間的相關性，來找到上一幀跟當前幀的像素點之間存在的對應關系，從而計算出相鄰幀之間像素點的運動信息。光流估計有許多應用，如動作識別、自動駕駛、視頻編輯、視頻跟蹤等。
[0003]近年來，卷積神經網絡((Convolutional Neural Networks,CNN))在很大程度上促進了計算機視覺領域的發展，針對光流估計問題，目前也提出了多種光流CNN模型，這些方法可以通過訓練網絡直接預測光流。
[0004]但是，利用現有的光流CNN模型進行光流估計時，針對快速移動的物體進行光流預測的準確度較低，因此基于光流進行視頻跟蹤的可靠性也難以保證。

技術實現思路

[0005]本申請的目的在于，針對上述現有技術中的不足，提供一種基于光流估計的視頻跟蹤方法、裝置、設備及存儲介質，以解決現有技術中視頻跟蹤的可靠性難以保證的問題。
[0006]為實現上述目的，本申請采用的技術方案如下：
[0007]第一方面，本申請提供了一種基于光流估計的視頻跟蹤方法，所述方法包括：
[0008]獲取第一幀圖像和第二幀圖像，所述第一幀圖像為所述第二幀圖像的前一個幀圖像，所述第一幀圖像中包括：跟蹤對象以及依附在所述跟蹤對象上的跟蹤標識；
[0009]將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稠密光流信息，并根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像，所述第一預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的第一形變標識；
[0010]將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稀疏光流信息，并基于所述稀疏光流信息和所述第一預測圖像預測得到所述第一幀圖像的目標預測圖像，將所述目標預測圖像作為所述第二幀圖像的跟蹤結果，所述目標預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的目標形變標識。
[0011]可選的，所述稠密光流預測網絡中包括：依次連接的多個稠密光流預測子網絡；
[0012]所述將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稠密光流信息，并根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像，包括：
[0013]將所述第一幀圖像和所述第二幀圖像輸入首個稠密光流預測子網絡中，預測所述第一幀圖像和所述第二幀圖像的初始稠密光流信息；
[0014]根據所述初始稠密光流信息以及所述第一幀圖像，得到所述首個稠密光流預測子網絡的初始預測圖像；
[0015]將所述初始預測圖像以及所述第二幀圖像輸入所述首個稠密光流預測子網絡的后一稠密光流預測子網絡中，并由所述首個稠密光流預測子網絡后的各稠密光流預測子網絡依次進行預測處理，得到所述第一幀圖像和所述第二幀圖像的稠密光流信息；
[0016]根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像。
[0017]可選的，所述根據所述初始稠密光流信息以及所述第一幀圖像，得到所述首個稠密光流預測子網絡的初始預測圖像，包括：
[0018]對所述初始稠密光流信息以及所述第一幀圖像進行插值運算，得到所述首個稠密光流預測子網絡的初始預測圖像。
[0019]可選的，所述對所述初始稠密光流信息以及所述第一幀圖像進行插值運算，得到所述首個稠密光流預測子網絡的初始預測圖像，包括：
[0020]根據所述初始稠密光流信息對所述第一幀圖像進行插值計算，確定所述第一幀圖像中各像素點的形變后位置；
[0021]將各像素點移動到對應的形變后位置，得到所述初始預測圖像。
[0022]可選的，所述將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稀疏光流信息，并基于所述稀疏光流信息和所述第一預測圖像預測得到所述第一幀圖像的目標預測圖像，包括：
[0023]將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，由所述稀疏光流預測網絡根據所述第一幀圖像和所述第二幀圖像預測得到所述稀疏光流信息；
[0024]根據所述稀疏光流信息對所述第一預測圖像進行插值處理，得到所述第一幀圖像的目標預測圖像。
[0025]可選的，所述由所述稀疏光流預測網絡根據所述第一幀圖像和所述第二幀圖像預測得到所述稀疏光流信息，包括：
[0026]由所述稀疏光流預測網絡對所述第一幀圖像和所述第二幀圖像進行特征點檢測，得到所述第一幀圖像中的多個第一特征點和各所述第一特征點在所述第二幀圖像中對應的第二特征點，并根據各所述第一特征點和各第二特征點的距離確定所述稀疏光流信息。
[0027]可選的，所述將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中之前，包括：
[0028]獲取預先標注的第一樣本圖像和預先標注的第二樣本圖像，其中，所述第一樣本圖像和所述第二樣本圖像中分別標注有跟蹤對象以及對應的跟蹤標識；
[0029]將所述第一樣本圖像和所述第二樣本圖像輸入初始稠密光流預測網絡中，得到所述第一樣本圖像的第一預測樣本圖像；
[0030]將所述第一預測樣本圖像、所述第一樣本圖像和所述第二樣本圖像輸入初始稀疏光流預測網絡中，得到所述樣本圖像的目標預測樣本圖像；
[0031]根據所述目標預測樣本圖像和所述第二樣本圖像確定損失值，并根據所述損失值對所述初始稠密光流預測網絡和所述初始稀疏光流預測網絡進行迭代修正，得到所述稠密光流預測網絡和所述稀疏光流預測網絡。
[0032]第二方面，本申請提供了一種基于光流估計的視頻跟蹤裝置，所述裝置包括：
[0033]獲取模塊，用于：獲取第一幀圖像和第二幀圖像，所述第一幀圖像為所述第二幀圖像的前一個幀圖像，所述第一幀圖像中包括：跟蹤對象以及依附在所述跟蹤對象上的跟蹤標識；
[0034]稠密光流預測模塊，用于：將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稠密光流信息，并根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像，所述第一預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的第一形變標識；
[0035]稀疏光流預測模塊，用于：將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稀疏光流信息，并基于所述稀疏光流信息和所述第一預測圖像預測得到所述第一幀圖像的目標預測圖像，將所述目標預測圖像作為所述第二幀圖像的跟蹤結果，所述目標預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的目標形變標識。
本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于光流估計的視頻跟蹤方法，其特征在于，包括：獲取第一幀圖像和第二幀圖像，所述第一幀圖像為所述第二幀圖像的前一個幀圖像，所述第一幀圖像中包括：跟蹤對象以及依附在所述跟蹤對象上的跟蹤標識；將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稠密光流信息，并根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像，所述第一預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的第一形變標識；將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稀疏光流信息，并基于所述稀疏光流信息和所述第一預測圖像預測得到所述第一幀圖像的目標預測圖像，將所述目標預測圖像作為所述第二幀圖像的跟蹤結果，所述目標預測圖像中包括：所述跟蹤對象以及依附在所述跟蹤對象上的所述跟蹤標識的目標形變標識。2.根據權利要求1所述的方法，其特征在于，所述稠密光流預測網絡中包括：依次連接的多個稠密光流預測子網絡；所述將所述第一幀圖像和所述第二幀圖像輸入稠密光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稠密光流信息，并根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像，包括：將所述第一幀圖像和所述第二幀圖像輸入首個稠密光流預測子網絡中，預測所述第一幀圖像和所述第二幀圖像的初始稠密光流信息；根據所述初始稠密光流信息以及所述第一幀圖像，得到所述首個稠密光流預測子網絡的初始預測圖像；將所述初始預測圖像以及所述第二幀圖像輸入所述首個稠密光流預測子網絡的后一稠密光流預測子網絡中，并由所述首個稠密光流預測子網絡后的各稠密光流預測子網絡依次進行預測處理，得到所述第一幀圖像和所述第二幀圖像的稠密光流信息；根據所述稠密光流信息得到所述第一幀圖像的第一預測圖像。3.根據權利要求2所述的方法，其特征在于，所述根據所述初始稠密光流信息以及所述第一幀圖像，得到所述首個稠密光流預測子網絡的初始預測圖像，包括：對所述初始稠密光流信息以及所述第一幀圖像進行插值運算，得到所述首個稠密光流預測子網絡的初始預測圖像。4.根據權利要求3所述的方法，其特征在于，所述對所述初始稠密光流信息以及所述第一幀圖像進行插值運算，得到所述首個稠密光流預測子網絡的初始預測圖像，包括：根據所述初始稠密光流信息對所述第一幀圖像進行插值計算，確定所述第一幀圖像中各像素點的形變后位置；將各像素點移動到對應的形變后位置，得到所述初始預測圖像。5.根據權利要求1所述的方法，其特征在于，所述將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，預測所述第一幀圖像和所述第二幀圖像的稀疏光流信息，并基于所述稀疏光流信息和所述第一預測圖像預測得到所述第一幀圖像的目標預測圖像，包括：將所述第一預測圖像、所述第一幀圖像和所述第二幀圖像輸入稀疏光流預測網絡中，
由所述稀疏光流預測網絡根據所述第一幀圖像和所述第...

【專利技術屬性】
技術研發人員：饒怡，李駢臻，劉洛麒，
申請(專利權)人：廈門美圖之家科技有限公司，
類型：發明
國別省市：