一種視頻數(shù)據(jù)處理方法、裝置、設(shè)備以及介質(zhì)制造方法及圖紙

本申請實(shí)施例提供了一種視頻數(shù)據(jù)處理方法、裝置、設(shè)備以及介質(zhì)，該方法涉及人工智能領(lǐng)域，方法包括：獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)，對視頻數(shù)據(jù)進(jìn)行視頻分析，得到視頻數(shù)據(jù)的視頻片段；獲取目標(biāo)用戶的用戶畫像，基于用戶畫像確定與目標(biāo)用戶相關(guān)聯(lián)的視頻模板，獲取視頻模板映射的模板片段以及模板片段對應(yīng)的模板標(biāo)簽序列；基于模板片段以及模板標(biāo)簽序列，在視頻片段中篩選滿足片段匹配條件的視頻片段，作為目標(biāo)視頻的視頻素材片段；將視頻數(shù)據(jù)以及視頻素材片段推送至目標(biāo)用戶對應(yīng)的應(yīng)用客戶端，以使應(yīng)用客戶端輸出視頻數(shù)據(jù)以及視頻素材片段。采用本申請，可以增強(qiáng)短視頻生成的智能度和可控度，并可以提高短視頻的生成效率。效率。效率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種視頻數(shù)據(jù)處理方法、裝置、設(shè)備以及介質(zhì)


[0001]本申請涉及計(jì)算機(jī)
，尤其涉及一種視頻數(shù)據(jù)處理方法、裝置、設(shè)備以及介質(zhì)。

技術(shù)介紹

[0002]隨著多媒體技術(shù)的發(fā)展，視頻已成為人們?nèi)粘Ｉ钪蝎@取信息與享受娛樂的主要載體。因?yàn)楦黝愐曨l播放平臺的普及，衍生出了各式各樣的短視頻(即精彩視頻集錦)?？梢岳斫獾氖?，這里的短視頻是指在各類視頻播放平臺上播放的、適合在移動狀態(tài)和短時休閑狀態(tài)下觀看的視頻內(nèi)容。
[0003]但是目前，短視頻的生成需要消耗大量的人力和腦力，比如，在生成短視頻的過程中，往往需要人工剪輯素材、人工合成視頻、以及人工配樂等，這意味著在通過人工交互的方式生成短視頻時，難以確保短視頻生成效果的可控度。此外，由于在生成短視頻的整個過程中，需要消耗大量的人工時間來進(jìn)行音頻視頻的合成，以至于會降低短視頻(即精彩視頻集錦)的生成效率。

技術(shù)實(shí)現(xiàn)思路

[0004]本申請實(shí)施例提供一種視頻數(shù)據(jù)處理方法、裝置、設(shè)備以及介質(zhì)，可以增強(qiáng)短視頻生成的智能度和可控度，并可以提高短視頻的生成效率。
[0005]本申請實(shí)施例一方面提供了一種視頻數(shù)據(jù)處理方法，包括：
[0006]獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)，對視頻數(shù)據(jù)進(jìn)行視頻分析，得到視頻數(shù)據(jù)的視頻片段；一個視頻片段對應(yīng)一個片段屬性標(biāo)簽；
[0007]獲取目標(biāo)用戶的用戶畫像，基于用戶畫像確定與目標(biāo)用戶相關(guān)聯(lián)的視頻模板，獲取視頻模板映射的模板片段以及模板片段對應(yīng)的模板標(biāo)簽序列；
[0008]基于模板片段以及模板標(biāo)簽序列，在視頻片段中篩選滿足片段匹配條件的視頻片段，將滿足片段匹配條件的視頻片段作為目標(biāo)視頻的視頻素材片段；視頻素材片段的片段屬性標(biāo)簽所構(gòu)成的目標(biāo)標(biāo)簽序列與模板標(biāo)簽序列相同；
[0009]將視頻數(shù)據(jù)以及視頻素材片段推送至目標(biāo)用戶對應(yīng)的應(yīng)用客戶端，以使應(yīng)用客戶端輸出視頻數(shù)據(jù)以及視頻素材片段。
[0010]本申請實(shí)施例一方面提供了一種視頻數(shù)據(jù)處理裝置，包括：
[0011]片段生成模塊，用于獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)，對視頻數(shù)據(jù)進(jìn)行視頻分析，得到視頻數(shù)據(jù)的視頻片段；一個視頻片段對應(yīng)一個片段屬性標(biāo)簽；
[0012]模板獲取模塊，用于獲取目標(biāo)用戶的用戶畫像，基于用戶畫像確定與目標(biāo)用戶相關(guān)聯(lián)的視頻模板，獲取視頻模板映射的模板片段以及模板片段對應(yīng)的模板標(biāo)簽序列；
[0013]素材確定模塊，用于基于模板片段以及模板標(biāo)簽序列，在視頻片段中篩選滿足片段匹配條件的視頻片段，將滿足片段匹配條件的視頻片段作為目標(biāo)視頻的視頻素材片段；視頻素材片段的片段屬性標(biāo)簽所構(gòu)成的目標(biāo)標(biāo)簽序列與模板標(biāo)簽序列相同；
[0014]數(shù)據(jù)發(fā)送模塊，用于將視頻數(shù)據(jù)以及視頻素材片段推送至目標(biāo)用戶對應(yīng)的應(yīng)用客戶端，以使應(yīng)用客戶端輸出視頻數(shù)據(jù)以及視頻素材片段。
[0015]其中，裝置還包括：
[0016]請求接收模塊，用于接收應(yīng)用客戶端發(fā)送的視頻播放請求；視頻播放請求是由應(yīng)用客戶端響應(yīng)目標(biāo)用戶針對目標(biāo)視頻執(zhí)行的播放操作所生成的；
[0017]數(shù)據(jù)查找模塊，用于從視頻播放請求中提取目標(biāo)視頻的視頻標(biāo)識，基于視頻標(biāo)識在視頻業(yè)務(wù)數(shù)據(jù)庫中查找目標(biāo)視頻對應(yīng)的業(yè)務(wù)視頻數(shù)據(jù)，將查找到的業(yè)務(wù)視頻數(shù)據(jù)作為應(yīng)用客戶端中的目標(biāo)視頻的視頻數(shù)據(jù)。
[0018]其中，片段生成模塊包括：
[0019]模型獲取單元，用于獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)以及與視頻數(shù)據(jù)相關(guān)聯(lián)的網(wǎng)絡(luò)識別模型；
[0020]分鏡獲取單元，用于通過視頻切分組件將視頻數(shù)據(jù)對應(yīng)的視頻序列進(jìn)行分鏡處理，得到與視頻序列相關(guān)聯(lián)的分鏡片段；
[0021]標(biāo)簽確定單元，用于將分鏡片段輸入至網(wǎng)絡(luò)識別模型，由網(wǎng)絡(luò)識別模型對分鏡片段進(jìn)行屬性分析，得到分鏡片段對應(yīng)的片段屬性標(biāo)簽；
[0022]片段確定單元，用于將具備片段屬性標(biāo)簽的分鏡片段確定為視頻數(shù)據(jù)的視頻片段。
[0023]其中，分鏡獲取單元包括：
[0024]組件獲取子單元，用于獲取用于對視頻數(shù)據(jù)的視頻序列進(jìn)行分鏡處理的視頻切分組件，通過視頻切分組件在視頻序列中獲取用于作為聚類質(zhì)心的第一視頻幀，創(chuàng)建第一視頻幀所屬的分鏡簇的分鏡簇信息；
[0025]圖像匹配子單元，用于在視頻序列中將除第一視頻幀之外的視頻幀確定為第二視頻幀，基于輪詢機(jī)制依次獲取第二視頻幀，確定第二視頻幀與第一視頻幀的圖像相似度；
[0026]分鏡創(chuàng)建子單元，用于若第一視頻幀與第二視頻幀的圖像相似度大于或者等于聚類閾值，則將圖像相似度大于或者等于聚類閾值的第二視頻幀劃分到第一視頻幀所屬的分鏡簇；
[0027]匹配完成子單元，用于若第一視頻幀與第二視頻幀的圖像相似度小于聚類閾值，則用圖像相似度小于聚類閾值的第二視頻幀更新第一視頻幀，創(chuàng)建更新后的第一視頻幀所屬的分鏡簇的分鏡簇信息，將更新后的第一視頻幀依次與未匹配的第二視頻幀進(jìn)行圖像相似度匹配，直到視頻序列中的視頻幀均完成圖像相似度匹配時，得到視頻序列中的視頻幀所屬的分鏡簇的分鏡簇信息；
[0028]分鏡確定子單元，用于基于視頻序列中的視頻幀所屬的分鏡簇的分鏡簇信息，確定與視頻序列相關(guān)聯(lián)的分鏡片段。
[0029]其中，網(wǎng)絡(luò)識別模型至少包括：具有第一屬性標(biāo)簽提取功能的第一網(wǎng)絡(luò)模型、具有第二屬性標(biāo)簽提取功能的第二網(wǎng)絡(luò)模型和具有第三屬性標(biāo)簽提取功能的第三網(wǎng)絡(luò)模型；
[0030]標(biāo)簽確定單元包括：
[0031]第一分析子單元，用于將分鏡片段輸入第一網(wǎng)絡(luò)模型，通過第一網(wǎng)絡(luò)模型對分鏡片段中的每個分鏡片段進(jìn)行遠(yuǎn)近景分析，得到分鏡片段的遠(yuǎn)近景標(biāo)簽，將分鏡片段的遠(yuǎn)近景標(biāo)簽作為第一網(wǎng)絡(luò)模型輸出的第一屬性標(biāo)簽，將具有第一屬性標(biāo)簽的分鏡片段作為第一
類分鏡片段；
[0032]人臉檢測子單元，用于將第一類分鏡片段輸入第二網(wǎng)絡(luò)模型，由第二網(wǎng)絡(luò)模型對第一類分鏡片段中的每個分鏡片段進(jìn)行人臉檢測，得到人臉檢測結(jié)果；
[0033]第二分析子單元，用于若人臉檢測結(jié)果指示第一類分鏡片段中存在目標(biāo)角色的人臉，則在第一類分鏡片段中將存在目標(biāo)角色的人臉?biāo)鶎?yīng)的分鏡片段作為第二類分鏡片段，通過第二網(wǎng)絡(luò)模型確定第二類分鏡片段中的目標(biāo)角色所屬的角色標(biāo)簽，將目標(biāo)角色所屬的角色標(biāo)簽確定為第二類分鏡片段的第二屬性標(biāo)簽；目標(biāo)角色為目標(biāo)視頻中的一個或者多個角色；
[0034]第三分析子單元，用于在第一類分鏡片段中將除第二類分鏡片段之外的分鏡片段，確定為第三類分鏡片段，將第三類分鏡片段輸入第三網(wǎng)絡(luò)模型，由第三網(wǎng)絡(luò)模型對第一類分鏡片段中的每個分鏡片段進(jìn)行場景檢測，得到第三類分鏡片段的第三屬性標(biāo)簽；
[0035]標(biāo)簽分析子單元，用于根據(jù)第一類分鏡片段的第一屬性標(biāo)簽、第二類分鏡片段的第二屬性標(biāo)簽、以及第三類分鏡片段的第三屬性標(biāo)簽，確定分鏡片段中的每個分鏡片段對應(yīng)的片段屬性標(biāo)簽。
[0036]其中，模板獲取模塊包括：
[0037]行為提取單元，用于獲取目標(biāo)用戶的行為日志表，從行為日志表中提取與目標(biāo)用戶相關(guān)聯(lián)的行為數(shù)據(jù)信息；
[00本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種視頻數(shù)據(jù)處理方法，其特征在于，包括：獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行視頻分析，得到所述視頻數(shù)據(jù)的視頻片段；一個視頻片段對應(yīng)一個片段屬性標(biāo)簽；獲取所述目標(biāo)用戶的用戶畫像，基于所述用戶畫像確定與所述目標(biāo)用戶相關(guān)聯(lián)的視頻模板，獲取所述視頻模板映射的模板片段以及所述模板片段對應(yīng)的模板標(biāo)簽序列；基于所述模板片段以及所述模板標(biāo)簽序列，在所述視頻片段中篩選滿足片段匹配條件的視頻片段，將滿足所述片段匹配條件的視頻片段作為所述目標(biāo)視頻的視頻素材片段；所述視頻素材片段的片段屬性標(biāo)簽所構(gòu)成的目標(biāo)標(biāo)簽序列與所述模板標(biāo)簽序列相同；將所述視頻數(shù)據(jù)以及所述視頻素材片段推送至所述目標(biāo)用戶對應(yīng)的應(yīng)用客戶端，以使所述應(yīng)用客戶端輸出所述視頻數(shù)據(jù)以及所述視頻素材片段。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)之前，所述方法還包括：接收應(yīng)用客戶端發(fā)送的視頻播放請求；所述視頻播放請求是由所述應(yīng)用客戶端響應(yīng)目標(biāo)用戶針對目標(biāo)視頻執(zhí)行的播放操作所生成的；從所述視頻播放請求中提取所述目標(biāo)視頻的視頻標(biāo)識，基于所述視頻標(biāo)識在視頻業(yè)務(wù)數(shù)據(jù)庫中查找所述目標(biāo)視頻對應(yīng)的業(yè)務(wù)視頻數(shù)據(jù)，將查找到的業(yè)務(wù)視頻數(shù)據(jù)作為所述應(yīng)用客戶端中的目標(biāo)視頻的視頻數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行視頻分析，得到所述視頻數(shù)據(jù)的視頻片段，包括：獲取目標(biāo)用戶請求的目標(biāo)視頻的視頻數(shù)據(jù)以及與所述視頻數(shù)據(jù)相關(guān)聯(lián)的網(wǎng)絡(luò)識別模型；通過視頻切分組件將所述視頻數(shù)據(jù)對應(yīng)的視頻序列進(jìn)行分鏡處理，得到與所述視頻序列相關(guān)聯(lián)的分鏡片段；將所述分鏡片段輸入至所述網(wǎng)絡(luò)識別模型，由所述網(wǎng)絡(luò)識別模型對所述分鏡片段進(jìn)行屬性分析，得到所述分鏡片段對應(yīng)的片段屬性標(biāo)簽；將具備片段屬性標(biāo)簽的分鏡片段確定為所述視頻數(shù)據(jù)的視頻片段。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過視頻切分組件將所述視頻數(shù)據(jù)對應(yīng)的視頻序列進(jìn)行分鏡處理，得到與所述視頻序列相關(guān)聯(lián)的分鏡片段，包括：獲取用于對所述視頻數(shù)據(jù)的視頻序列進(jìn)行分鏡處理的視頻切分組件，通過所述視頻切分組件在所述視頻序列中獲取用于作為聚類質(zhì)心的第一視頻幀，創(chuàng)建所述第一視頻幀所屬的分鏡簇的分鏡簇信息；在所述視頻序列中將除所述第一視頻幀之外的視頻幀確定為第二視頻幀，基于輪詢機(jī)制依次獲取所述第二視頻幀，確定所述第二視頻幀與所述第一視頻幀的圖像相似度；若所述第一視頻幀與所述第二視頻幀的圖像相似度大于或者等于聚類閾值，則將所述圖像相似度大于或者等于所述聚類閾值的第二視頻幀劃分到所述第一視頻幀所屬的分鏡簇；若所述第一視頻幀與所述第二視頻幀的圖像相似度小于所述聚類閾值，則用所述圖像相似度小于所述聚類閾值的第二視頻幀更新所述第一視頻幀，創(chuàng)建更新后的第一視頻幀所屬的分鏡簇的分鏡簇信息，將所述更新后的第一視頻幀依次與未匹配的第二視頻幀進(jìn)行圖
像相似度匹配，直到所述視頻序列中的視頻幀均完成所述圖像相似度匹配時，得到所述視頻序列中的視頻幀所屬的分鏡簇的分鏡簇信息；基于所述視頻序列中的視頻幀所屬的分鏡簇的分鏡簇信息，確定與所述視頻序列相關(guān)聯(lián)的分鏡片段。5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述網(wǎng)絡(luò)識別模型至少包括：具有第一屬性標(biāo)簽提取功能的第一網(wǎng)絡(luò)模型、具有第二屬性標(biāo)簽提取功能的第二網(wǎng)絡(luò)模型和具有第三屬性標(biāo)簽提取功能的第三網(wǎng)絡(luò)模型；所述將所述分鏡片段輸入至所述網(wǎng)絡(luò)識別模型，由所述網(wǎng)絡(luò)識別模型對所述分鏡片段進(jìn)行屬性分析，得到所述分鏡片段對應(yīng)的片段屬性標(biāo)簽，包括：將所述分鏡片段輸入所述第一網(wǎng)絡(luò)模型，通過所述第一網(wǎng)絡(luò)模型對所述分鏡片段中的每個分鏡片段進(jìn)行遠(yuǎn)近景分析，得到所述分鏡片段的遠(yuǎn)近景標(biāo)簽，將所述分鏡片段的遠(yuǎn)近景標(biāo)簽作為所述第一網(wǎng)絡(luò)模型輸出的第一屬性標(biāo)簽，將具有所述第一屬性標(biāo)簽的分鏡片段作為第一類分鏡片段；將所述第一類分鏡片段輸入所述第二網(wǎng)絡(luò)模型，由所述第二網(wǎng)絡(luò)模型對所述第一類分鏡片段中的每個分鏡片段進(jìn)行人臉檢測，得到人臉檢測結(jié)果；若所述人臉檢測結(jié)果指示所述第一類分鏡片段中存在目標(biāo)角色的人臉，則在所述第一類分鏡片段中將存在所述目標(biāo)角色的人臉?biāo)鶎?yīng)的分鏡片段作為第二類分鏡片段，通過所述第二網(wǎng)絡(luò)模型確定所述第二類分鏡片段中的目標(biāo)角色所屬的角色標(biāo)簽，將所述目標(biāo)角色所屬的角色標(biāo)簽確定為所述第二類分鏡片段的第二屬性標(biāo)簽；所述目標(biāo)角色為所述目標(biāo)視頻中的一個或者多個角色；在所述第一類分鏡片段中將除所述第二類分鏡片段之外的分鏡片段，確定為第三類分鏡片段，將所述第三類分鏡片段輸入所述第三網(wǎng)絡(luò)模型，由所述第三網(wǎng)絡(luò)模型對所述第一類分鏡片段中的每個分鏡片段進(jìn)行場景檢測，得到所述第三類分鏡片段的第三屬性標(biāo)簽；根據(jù)所述第一類分鏡片段的第一屬性標(biāo)簽、所述第二類分鏡片段的第二屬性標(biāo)簽、以及所述第三類分鏡片段的第三屬性標(biāo)簽，確定所述分鏡片段中的每個分鏡片段對應(yīng)的片段屬性標(biāo)簽。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述目標(biāo)用戶的用戶畫像，基于所述用戶畫像確定與所述目標(biāo)用戶相關(guān)聯(lián)的視頻模板，獲取所述視頻模板映射的模板片段以及所述模板片段對應(yīng)的模板標(biāo)簽序列，包括：獲取所述目標(biāo)用戶的行為日志表，從所述行為日志表中提取與所述目標(biāo)用戶相關(guān)聯(lián)的行為數(shù)據(jù)信息；對所述行為數(shù)據(jù)信息進(jìn)行用戶畫像分析，得到用于表征所述目標(biāo)用戶的用戶畫像，基于所述用戶畫像確定與所述目標(biāo)用戶相關(guān)聯(lián)的視頻模板；所述視頻模板攜帶模板片段的模板屬性標(biāo)簽所構(gòu)成的模板標(biāo)簽序列；所述模板片段是對模板視頻進(jìn)行視頻分析后所得到的；所述模板視頻是由所述行為數(shù)據(jù)信息所確定的；獲取所述視頻模板映射的所述模板片段以及所述模板片段對應(yīng)的所述模板標(biāo)簽序列。7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述模板片段的數(shù)量為N個，所述N為大于1的正整數(shù)；所述模板標(biāo)簽序列包含N個...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭卉，
申請(專利權(quán))人：騰訊科技深圳有限公司，
類型：發(fā)明
國別省市：