視頻違規(guī)內容檢測的方法、裝置以及存儲介質制造方法及圖紙

本申請公開了一種視頻違規(guī)內容檢測的方法、裝置以及存儲介質。其中，一種視頻違規(guī)內容檢測的方法包括：獲取待檢測視頻；根據(jù)預先設置的視頻處理方法提取待檢測視頻中的視頻幀、視頻片段以及音頻；對視頻幀的圖像進行違規(guī)內容識別，并確定待檢測視頻的第一違規(guī)內容檢測結果；對視頻片段進行違規(guī)內容識別，并確定待檢測視頻的第二違規(guī)內容檢測結果；對音頻進行違規(guī)內容識別，并確定待檢測視頻的第三違規(guī)內容檢測結果；以及根據(jù)的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定待檢測視頻的第四違規(guī)內容檢測結果。

Methods, devices and storage media for video content detection

【技術實現(xiàn)步驟摘要】
視頻違規(guī)內容檢測的方法、裝置以及存儲介質
本申請涉及計算機
，特別是涉及一種視頻違規(guī)內容檢測的方法、裝置以及存儲介質。
技術介紹
隨著計算機網絡技術的發(fā)展，出現(xiàn)了越來越多的為用戶提供上傳、分享視頻服務的互聯(lián)網服務提供商，導致互聯(lián)網中的視頻數(shù)量呈現(xiàn)井噴式增長，這對視頻內容的監(jiān)控提出了更高的要求，人工審核的方式已經遠遠無法滿足需求。近些年出現(xiàn)了自動化的視頻內容監(jiān)控解決方案，現(xiàn)有的視頻違規(guī)內容檢測的方法是通過提取視頻中的一部分視頻幀和音頻分別進行檢測，只要存在違規(guī)即視為違規(guī)視頻，不僅沒有考慮視頻的連續(xù)信息，也沒有對違規(guī)內容過檢測的結果進行綜合的處理，魯棒性不足。針對上述的現(xiàn)有技術中存在的視頻違規(guī)內容檢測方法提取視頻中的一部分視頻幀和音頻分別進行檢測，只要存在違規(guī)即視為違規(guī)視頻，不僅沒有考慮視頻的連續(xù)信息，也沒有對違規(guī)內容過檢測的結果進行綜合的處理，魯棒性不足的技術問題，目前尚未提出有效的解決方案。
技術實現(xiàn)思路
本公開的實施例提供了一種視頻違規(guī)內容檢測的方法、裝置以及存儲介質，以至少解決現(xiàn)有技術中存在的視頻違規(guī)內容檢測方法提取視頻中的一部分視頻幀和音頻分別進行檢測，只要存在違規(guī)即視為違規(guī)視頻，不僅沒有考慮視頻的連續(xù)信息，也沒有對違規(guī)內容過檢測的結果進行綜合的處理，魯棒性不足的技術問題。根據(jù)本公開實施例的一個方面，提供了一種視頻違規(guī)內容檢測的方法，包括：獲取待檢測視頻；根據(jù)預先設置的視頻處理方法提取待檢測視頻中的視頻幀、視頻片段以及音頻；對視頻幀的圖像進行違規(guī)內容識別，并確定待檢測視頻的第一違規(guī)內容檢測結果，其中第一違規(guī)內容檢測結果用于確定待檢測視頻中的目標對象；對視頻片段進行違規(guī)內容識別，并確定待檢測視頻的第二違規(guī)內容檢測結果，其中第二違規(guī)內容檢測結果用于確定待檢測視頻的行為標簽；對音頻進行違規(guī)內容識別，并確定待檢測視頻的第三違規(guī)內容檢測結果，其中第三違規(guī)內容檢測結果用于確定待檢測視頻的音頻的類別標簽；以及根據(jù)的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定待檢測視頻的第四違規(guī)內容檢測結果，其中第四違規(guī)內容檢測結果用于確定待檢測視頻的最終的違規(guī)內容識別結果。根據(jù)本公開實施例的另一個方面，還提供了一種存儲介質，存儲介質包括存儲的程序，其中，在程序運行時由處理器執(zhí)行以上任意一項所述的方法。根據(jù)本公開實施例的另一個方面，還提供了一種視頻違規(guī)內容檢測的裝置，包括：待檢測視頻獲取模塊，用于獲取待檢測視頻；提取模塊，用于根據(jù)預先設置的視頻處理方法提取待檢測視頻中的視頻幀、視頻片段以及音頻；第一違規(guī)內容檢測結果確定模塊，用于對視頻幀的圖像進行違規(guī)內容識別，并確定待檢測視頻的第一違規(guī)內容檢測結果，其中第一違規(guī)內容檢測結果用于確定待檢測視頻中的目標對象；第二違規(guī)內容檢測結果確定模塊，用于對視頻片段進行違規(guī)內容識別，并確定待檢測視頻的第二違規(guī)內容檢測結果，其中第二違規(guī)內容檢測結果用于確定待檢測視頻的行為標簽；第三違規(guī)內容檢測結果確定模塊，用于對音頻進行違規(guī)內容識別，并確定待檢測視頻的第三違規(guī)內容檢測結果，其中第三違規(guī)內容檢測結果用于確定待檢測視頻的音頻的類別標簽；以及第四違規(guī)內容檢測結果確定模塊，用于根據(jù)的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定待檢測視頻的第四違規(guī)內容檢測結果，其中第四違規(guī)內容檢測結果用于確定待檢測視頻的最終的違規(guī)內容識別結果。根據(jù)本公開實施例的另一個方面，還提供了一種視頻違規(guī)內容檢測的裝置，包括：處理器；以及存儲器，與處理器連接，用于為處理器提供處理以下處理步驟的指令：獲取待檢測視頻；根據(jù)預先設置的視頻處理方法提取待檢測視頻中的視頻幀、視頻片段以及音頻；對視頻幀的圖像進行違規(guī)內容識別，并確定待檢測視頻的第一違規(guī)內容檢測結果，其中第一違規(guī)內容檢測結果用于確定待檢測視頻中的目標對象；對視頻片段進行違規(guī)內容識別，并確定待檢測視頻的第二違規(guī)內容檢測結果，其中第二違規(guī)內容檢測結果用于確定待檢測視頻的行為標簽；對音頻進行違規(guī)內容識別，并確定待檢測視頻的第三違規(guī)內容檢測結果，其中第三違規(guī)內容檢測結果用于確定待檢測視頻的音頻的類別標簽；以及根據(jù)的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定待檢測視頻的第四違規(guī)內容檢測結果，其中第四違規(guī)內容檢測結果用于確定待檢測視頻的最終的違規(guī)內容識別結果。從而根據(jù)本實施例的技術方案，計算設備通過提取待檢測視頻中的視頻幀、視頻片段以及音頻，以及提取視頻幀的圖像的第一文本信息和音頻中的第二文本信息，然后分別得出待檢測視頻的第一違規(guī)內容檢測結果、第二違規(guī)內容檢測結果、第三違規(guī)內容檢測結果以及第五違規(guī)內容檢測結果，從而確定了待檢測視頻的最終檢測結果，即第四違規(guī)內容檢測結果。通過這種方法達到了從待檢測視頻的圖像、視頻片段、人臉、物體、語音以及文字等各個角度對待檢測視頻進行違規(guī)內容識別分析，真正做到了全面檢測視頻的違規(guī)內容。與此同時，第四違規(guī)內容檢測結果涵蓋了視頻幀和視頻片段在待檢測視頻幀中的時域位置，進而能更加精確的定位待檢測視頻的違規(guī)內容。進而解決了現(xiàn)有技術中存在的視頻違規(guī)內容檢測方法提取視頻中的一部分視頻幀和音頻分別進行檢測，只要存在違規(guī)即視為違規(guī)視頻，不僅沒有考慮視頻的連續(xù)信息，也沒有對違規(guī)內容過檢測的結果進行綜合的處理，魯棒性不足的技術問題。附圖說明此處所說明的附圖用來提供對本公開的進一步理解，構成本申請的一部分，本公開的示意性實施例及其說明用于解釋本公開，并不構成對本公開的不當限定。在附圖中：圖1是用于實現(xiàn)根據(jù)本公開實施例1所述的方法的計算設備的硬件結構框圖；圖2是根據(jù)本公開實施例1所述的視頻違規(guī)內容檢測的方法的流程示意圖；圖3A是根據(jù)本公開實施例1的所述的視頻違規(guī)內容檢測的方法的進一步流程示意圖；圖3B是根據(jù)本公開實施例1的所述多模態(tài)融合結果的示意圖；圖3C是根據(jù)本公開實施例1的所述視頻幀和視頻片段在待檢測視頻中的時域位置的示意圖；圖4是根據(jù)本公開實施例2的所述的視頻違規(guī)內容檢測的裝置的示意圖；以及圖5是根據(jù)本公開實施例3的所述的視頻違規(guī)內容檢測的裝置的示意圖。具體實施方式為了使本
的人員更好地理解本公開的技術方案，下面將結合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本公開一部分的實施例，而不是全部的實施例。基于本公開中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本公開保護的范圍。需要說明的是，本公開的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本公開的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產本文檔來自技高網...

【技術保護點】
1.一種視頻違規(guī)內容檢測的方法，其特征在于，包括：/n獲取待檢測視頻；/n根據(jù)預先設置的視頻處理方法提取所述待檢測視頻中的視頻幀、視頻片段以及音頻；/n對所述視頻幀的圖像進行違規(guī)內容識別，并確定所述待檢測視頻的第一違規(guī)內容檢測結果，其中所述第一違規(guī)內容檢測結果用于確定所述待檢測視頻中的目標對象；/n對所述視頻片段進行違規(guī)內容識別，并確定所述待檢測視頻的第二違規(guī)內容檢測結果，其中所述第二違規(guī)內容檢測結果用于確定所述待檢測視頻的行為標簽；/n對所述音頻進行違規(guī)內容識別，并確定所述待檢測視頻的第三違規(guī)內容檢測結果，其中所述第三違規(guī)內容檢測結果用于確定待檢測視頻的音頻的類別標簽；以及/n根據(jù)所述的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定所述待檢測視頻的第四違規(guī)內容檢測結果，其中所述第四違規(guī)內容檢測結果用于確定所述待檢測視頻的最終的違規(guī)內容識別結果。/n

【技術特征摘要】
1.一種視頻違規(guī)內容檢測的方法，其特征在于，包括：
獲取待檢測視頻；
根據(jù)預先設置的視頻處理方法提取所述待檢測視頻中的視頻幀、視頻片段以及音頻；
對所述視頻幀的圖像進行違規(guī)內容識別，并確定所述待檢測視頻的第一違規(guī)內容檢測結果，其中所述第一違規(guī)內容檢測結果用于確定所述待檢測視頻中的目標對象；
對所述視頻片段進行違規(guī)內容識別，并確定所述待檢測視頻的第二違規(guī)內容檢測結果，其中所述第二違規(guī)內容檢測結果用于確定所述待檢測視頻的行為標簽；
對所述音頻進行違規(guī)內容識別，并確定所述待檢測視頻的第三違規(guī)內容檢測結果，其中所述第三違規(guī)內容檢測結果用于確定待檢測視頻的音頻的類別標簽；以及
根據(jù)所述的第一違規(guī)內容檢測結果、第二違規(guī)內容過檢測結果以及第三違規(guī)內容過檢測結果，確定所述待檢測視頻的第四違規(guī)內容檢測結果，其中所述第四違規(guī)內容檢測結果用于確定所述待檢測視頻的最終的違規(guī)內容識別結果。


2.根據(jù)權利要求1所述的方法，其特征在于，對所述視頻幀的圖像進行違規(guī)內容識別的操作包括：
根據(jù)預先設置的圖像分類模型，對所述圖像進行分類，確定所述圖像的類別，所述圖像的類別用戶指示所述圖像違規(guī)的類型；
根據(jù)預先設置的物體檢測模型，檢測所述圖像中的物體，確定所述圖像中違規(guī)物體的信息，其中所述違規(guī)物體的信息用于指示所述圖像中物體的位置信息以及違規(guī)物體類型信息；
根據(jù)預先設置的文本識別模型，識別所述圖像中的第一文本信息，并輸出所述圖像的第一文本信息；
根據(jù)預先設置的人臉識別模型，識別所述圖像中的人臉，確定所述圖像中人臉的信息，其中所述人臉的信息用于指示所述人臉的位置信息以及人臉的對象的身份信息；以及
根據(jù)所述圖像的類別、所述圖像中違規(guī)物體的信息以及所述圖像中人臉的信息確定所述第一違規(guī)內容檢測結果。


3.根據(jù)權利要求1所述的方法，其特征在于，對所述視頻片段進行違規(guī)內容識別的操作包括：
確定所述視頻片段的行為標簽，其中所述行為標簽用于指示所述視頻片段的違規(guī)類型；以及
根據(jù)所述行為標簽，確定所述第二違規(guī)內容檢測結果。


4.根據(jù)權利要求1所述的方法，其特征在于，對所述音頻進行違規(guī)內容識別的操作包括：
根據(jù)預先設置的聲音分類模型，對所述音頻進行分類，輸出所述音頻的類別標簽，其中所述類別標簽用于指示所述音頻的聲音的違規(guī)類別；
根據(jù)所述音頻的類別標簽，確定所述第三違規(guī)內容檢測結果；以及
根據(jù)預先設置的語音識別模型，對所述音頻中的語音進行識別，并輸出所述音頻中的第二文本信息。


5.根據(jù)權利要求1所述的方法，其特征在于，根據(jù)所述的第一違規(guī)內容檢測結果、第二違規(guī)內容檢測結果以及第三違規(guī)內容檢測結果，確定所述待檢測視頻的第四違規(guī)內容檢測結果，包括：
對所述視頻幀的圖像進行違規(guī)內容識別的操作包括：根據(jù)預先設置的圖像分類模型，對所述圖像進行分類，確定所述圖像的類別，所述圖像的類別用戶指示所述圖像違規(guī)的類型；根據(jù)預先設置的物體檢測模型，檢測所述圖像中的物體，確定所述圖像中違規(guī)物體的信息，其中所述違規(guī)物體的信息用于指示所述圖像中物體的位置信息以及違規(guī)物體類型信息；根據(jù)預先設置的文本識別模型，識別所述圖像中的第一文本信息，并輸出所述圖像的第一文本信息；根據(jù)預先設置的人臉識別模型，識別所述圖像中的人臉，確定所述圖像中人臉的信息，其中所述人臉的信息用于指示所述人臉的位置信息以及人臉的對象的身份信息；以及根據(jù)所述圖像的類別、所述圖像中違規(guī)物體的信息以及所述圖像中人臉的信息確定所述第一違規(guī)內容檢測結果，
對所述音頻進行違規(guī)內容識別的操作包括：根據(jù)預先設置的聲音分類模型，對所述音頻進行分類，輸出所述音頻的類別標簽，其中所述類別標簽用于指示所述音頻的聲音的違規(guī)類別；根據(jù)所述音頻的類別標簽，確定所述第三違規(guī)內容檢測結果；以及根據(jù)預先設置的語音識別模型，對所述音頻中的語音進行識別，并輸出所述音頻中的第二文本信息，并且
根據(jù)預先設置的文本信息分類模型，對所述第一文本信息和第二文本信息進行違規(guī)內容檢測，確定所述第一文本信息和所述第二文本信息的違規(guī)標簽，其中所述違規(guī)標簽用于指示所...

【專利技術屬性】
技術研發(fā)人員：劉洋，楊文鮮，王新然，李云飛，傅景楠，
申請(專利權)人：云目未來科技北京有限公司，
類型：發(fā)明
國別省市：北京;11