用于圖像幀識別和視頻流比較的方法和裝置制造方法及圖紙

提供了用于識別視頻流（20）中的圖像幀（10），以及用于將一個視頻流（20?1）和一個或多個其他視頻流（20?2）進行比較的方法和裝置（200）。檢查每個視頻流（20）以產(chǎn)生包括摘要值（310?1）的相應摘要流（320?1），其可能記錄在摘要記錄（410）中。來自第二視頻流（20?2）的候選視頻幀（10?2）提供相應的第二摘要值（310?2）。摘要值的匹配表明在各視頻流中的匹配圖像。

【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】

本專利技術(shù)涉及圖像處理領域，更具體地，涉及在識別圖像幀和比較視頻流中使用的方法和裝置。

技術(shù)介紹

存在有在視頻流中識別單獨的圖像幀的需求。一般來說，使用時間碼來識別幀，其中，每個圖像幀與適合于該圖像幀在流中的時間位置的相應的編碼的時間值相關聯(lián)。作為一個例子，現(xiàn)有技術(shù)中已知的有用于商業(yè)廣播電視和電影系統(tǒng)的SMPTE292M或SMPTE424M等SMPTE時間碼標準。這些時間碼通常用作專業(yè)廣播和電影系統(tǒng)的串行數(shù)字接口（SDI）標準的一部分。
已知的時間碼幀識別系統(tǒng)出現(xiàn)了一些困難。例如，通過一些類型的視頻編輯設備不能準確地保持時間碼。在一個視頻流中的時間碼可能變得不可靠，并且將多個不同源的視頻流混合在一起可能在組合的視頻流中產(chǎn)生不一致的時間碼。這些時間碼可能損壞，并且一些設備或傳輸系統(tǒng)可能甚至從視頻流中完全移除時間碼。
作為另一種選擇，已知的是執(zhí)行圖像幀的水印，即，增加標志元素，該標志元素對于普通觀看者通常是不容易看到的。然而，水印需要編輯對視頻流的訪問，并且通過增加水印侵入性地改變圖像內(nèi)容。
還存在有準確識別給定的視頻圖像流的需求。具體地，需要確定當前視頻流是否已經(jīng)被預先觀察到，或者與來自不同源的視頻流相匹配。然而，由于上述相同的理由，時間碼和水印等已知的圖像幀識別系統(tǒng)不能充分地解決這種困難。
本專利技術(shù)討論的示例實施例解決了相關技術(shù)的這些困難中的一個或多個。本領域技術(shù)人員可以理解的是，根據(jù)對本專利技術(shù)的教導的理解，這些示例實施例可能解決其他問題。在一個例子中，存在提供用于在視頻流中識別圖像幀的方法和裝置的需求。

技術(shù)實現(xiàn)思路

根據(jù)本專利技術(shù)，提供給了如在所附的權(quán)利要求所述的裝置和方法。從從屬權(quán)利要求和以下描述中可以明顯看出本專利技術(shù)的其他特征。
在一個例子中，描述了用于識別在視頻流中的圖像幀的裝置，包括：摘要值產(chǎn)生單元，其具有下述電路：該電路配置為接收包括多個第一圖像幀的多個第一視頻流，檢查每個所述第一視頻流以產(chǎn)生包括多個第一摘要值的相應的第一摘要流并且在有形的存儲介質(zhì)上將所述第一摘要流記錄在摘要記錄中，每個所述第一摘要值與所述多個第一圖像幀中的相應的一個第一圖像幀相關聯(lián)；以及摘要值匹配單元，其具有下述電路：該電路配置為檢查候選第二視頻流的至少一個第二圖像幀以產(chǎn)生相應的第二摘要值，將所述第二摘要值與所述摘要記錄中的所述多個第一摘要值進行比較，并且輸出比較結(jié)果，該比較結(jié)果表明所述候選第二視頻流和所述多個第一視頻流中的相應的一個第一視頻流之間的匹配。
在一個例子中，描述了由計算機設備實現(xiàn)的用于識別圖像幀和比較視頻流的方法，該方法包括：從多個第一視頻源中的每一個視頻源接收多個第一視頻流，每個所述第一視頻流包括多個圖像幀；檢查所述第一視頻流中的每個第一視頻流為每個所述第一視頻流產(chǎn)生第一摘要流，每個所述第一摘要流包括多個第一摘要值，每個所述第一摘要值與所述多個圖像幀中的相應的一個圖像幀相關聯(lián)；在摘要記錄中記錄所述多個第一摘要流；接收候選第二視頻流；檢查所述候選第二視頻流以產(chǎn)生包括第二摘要值的相應的第二摘要流；將所述第二摘要流的所述第二摘要值與所述摘要記錄中的所述第一摘要流的所述多個第一摘要值進行比較；根據(jù)相應的第一和第二摘要值，當所述比較表明所述候選第二視頻流和所述多個第一視頻流中的相應的一個第一視頻流之間的匹配時，輸出比較結(jié)果。
在一個例子中，提供了一個有形的非易失計算機可讀介質(zhì)，其具有記錄在其上的指令，當執(zhí)行這些指令時，致使計算機執(zhí)行本專利技術(shù)限定的任意方法的步驟。
附圖說明
下面參照附圖舉例說明的描述有助于更好地理解本專利技術(shù)，以及如何實行本專利技術(shù)的實施例。
圖1為用于識別圖像的示例裝置的示意圖；
圖2為用于識別圖像的另一示例裝置的示意圖；
圖3為示例圖像幀識別系統(tǒng)的示意圖；
圖4為可能采用示例實施例的示例視頻處理系統(tǒng)的示意圖；
圖5為可能采用示例實施例的另一示例視頻處理系統(tǒng)的示意圖；
圖6為可能采用示例實施例的示例廣播傳輸系統(tǒng)的示意圖；
圖7為用于識別圖像的示例裝置的示意圖；
圖8為用于識別圖像的示例裝置的示意圖；
圖9為用于識別圖像的示例裝置的示意圖；
圖10為示例方法的示意流程圖；
圖11為另一示例方法的示意流程圖。
具體實施方式
以下將參照內(nèi)容替換系統(tǒng)對示例實施例進行描述，其中，該內(nèi)容替換系統(tǒng)可能用于替代電視視頻圖像中的內(nèi)容。在一個例子中，該系統(tǒng)布置為向廣播電視節(jié)目提供廣告牌的照片真實替代。然而，根據(jù)本文的教導對于本領域技術(shù)人員顯而易見的是，這里描述的方法和裝置可能應用于許多其他具體實施方式中，其可能涉及視頻圖像的其他形式或與感興趣的其他主題圖像有關。
這里討論的示例實施例與例如，在公開文獻WO2001/58147（Rantalainen）、WO2009/074710（Rantalainen）、和WO2012/143,596（Suontama）中所述的執(zhí)行動態(tài)圖像處理系統(tǒng)尤其相關。這些文獻可能為進一步的背景信息所考慮，當考慮到以下詳細說明時，它們中的內(nèi)容可能是有用的。
簡單地說，WO2001/58147涉及用于改變電視視頻圖像的方法，其中，使用不可見的電磁輻射，如紅外線，識別廣告牌或其他可見對象。WO2009/074710描述了通過確定共享區(qū)域改變電視視頻圖像的方法，在該共享區(qū)域，通過添加具有預定的圖形覆蓋率的圖形（即，圖形覆蓋）覆蓋預期目標區(qū)域，根據(jù)沒有被添加的圖形覆蓋的剩余覆蓋率添加替代內(nèi)容。WO2012/143,596描述了如果有已經(jīng)在任何特定的時間被添加在視頻信號的幀中的圖像元素的話，檢測該圖像元素的方法。
在一個例子中，描述了一種用于識別視頻流中的圖像幀的方法，包括：接收包括第一多個圖像幀的第一視頻流；檢查該第一視頻流以產(chǎn)生包括多個第一摘要值的第一摘要流，每個第一摘要值均與第一多個圖像幀中的相應的一個圖像幀相關聯(lián)；以及在摘要記錄中記錄該第一摘要流。
在一個例子中，該方法包括：檢查第二視頻流中的至少一個第二視頻幀以產(chǎn)生相應的第二摘要值；將該第二摘要值與摘要記錄中的多個第一摘要值進行比較；以及根據(jù)比較的摘要值輸出表明第二圖像幀和第一多個圖像幀中相應的一個圖像幀之間的比較結(jié)果的比較結(jié)果。
在一個例子中，該方法包括：為多個視頻流中的每個視頻流在摘要記錄中記錄摘要值；將來自候選視頻流中的摘要值與記錄的摘要值進行比較；以及輸出比較結(jié)果。該比較結(jié)果可能表明已經(jīng)找到在多個視頻流中的一個匹配的視頻流。該比較結(jié)果可能表明在比較的視頻流中沒有找到匹配的視頻流。
在一個例子中，第一摘要流是與第一視頻流分開記錄的。該方法可能包括通過第一通信通道將第一視頻流從源位置傳輸?shù)侥康奈恢茫约巴ㄟ^第二通信通道將第一視頻流從目標位置傳輸?shù)皆次恢谩Ｔ摲椒赡馨ㄊ褂玫谝徽鲗⑤o助視頻流與第一視頻流同步。
在一個例子中，該方法包括：將從候選視頻流從獲得的摘要值序列與在摘要記錄中的相應的摘要值序列進行比較；以及輸出表明候選視頻流和在第一視頻流中的相應的圖像幀序列之間的匹配的比較結(jié)果。
在一個例子中，該方法包括：計算候選摘要值和在摘要記錄中的一個或多個摘要值之間的距離，并且根據(jù)計算出的距離選擇匹配。
在一個例子中，通過在容差閾值內(nèi)不精確地匹配摘要值確定匹配。本文檔來自技高網(wǎng)...

【技術(shù)保護點】
由計算機設備實現(xiàn)的用于識別圖像幀和比較視頻流的方法，該方法包括：從多個第一視頻源中的每一個第一視頻源接收多個第一視頻流，每個所述第一視頻流包括多個圖像幀；檢查所述第一視頻流中的每個第一視頻流，以為每個所述第一視頻流產(chǎn)生第一摘要流，每個所述第一摘要流包括多個第一摘要值，每個所述第一摘要值與所述多個圖像幀中的相應的一個圖像幀相關聯(lián)；在摘要記錄中記錄所述多個第一摘要流；接收候選第二視頻流；檢查所述候選第二視頻流，以產(chǎn)生包括第二摘要值的相應的第二摘要流；將所述第二摘要流的所述第二摘要值與所述摘要記錄中的所述第一摘要流的所述多個第一摘要值進行比較；以及根據(jù)相應的第一和第二摘要值，當所述比較表明所述候選第二視頻流和所述多個第一視頻流中的相應的一個第一視頻流之間的匹配時，輸出比較結(jié)果。

【技術(shù)特征摘要】
【國外來華專利技術(shù)】2013.10.03 GB 1317529.41.由計算機設備實現(xiàn)的用于識別圖像幀和比較視頻流的方法，該方法包括：
從多個第一視頻源中的每一個第一視頻源接收多個第一視頻流，每個所述第一視頻流包括多個圖像幀；
檢查所述第一視頻流中的每個第一視頻流，以為每個所述第一視頻流產(chǎn)生第一摘要流，每個所述第一摘要流包括多個第一摘要值，每個所述第一摘要值與所述多個圖像幀中的相應的一個圖像幀相關聯(lián)；
在摘要記錄中記錄所述多個第一摘要流；
接收候選第二視頻流；
檢查所述候選第二視頻流，以產(chǎn)生包括第二摘要值的相應的第二摘要流；
將所述第二摘要流的所述第二摘要值與所述摘要記錄中的所述第一摘要流的所述多個第一摘要值進行比較；以及
根據(jù)相應的第一和第二摘要值，當所述比較表明所述候選第二視頻流和所述多個第一視頻流中的相應的一個第一視頻流之間的匹配時，輸出比較結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二視頻流由所述第一視頻流中的至少一個第一視頻流導出。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二視頻流包括從所述多個第一視頻流當中選出的片段，其中，所述輸出將所述多個第一視頻流中的相應的一個第一視頻流識別為當前存在于所述第二視頻流中。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一視頻流是用于廣播節(jié)目的每個攝像機饋送，所述第二視頻流是隨著時間推移通過在所述攝像機饋送中進行選擇而獲得的視頻清潔饋送，并且所述輸出將所述攝像機饋送中的一個攝像機饋送識別為在所述視頻清潔饋送中當前正在廣播的。
5.根據(jù)權(quán)利要1所述的方法，其特征在于，該方法還包括：
準備多個遮蔽信號，每個所述遮蔽與所述第一視頻流中的相應的一個第一視頻流相關聯(lián)，每個所述遮蔽信息識別所述相應的第一視頻流內(nèi)的感興趣的區(qū)域；
根據(jù)所述比較結(jié)果選擇所述遮蔽信號中的一個遮蔽信息；以及
將選擇出的所述遮蔽信號中的一個遮蔽信息應用于所述第二視頻流。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法包括：
將從所述候選第二視頻流中獲得的所述第二摘要值的序列與相應的所述摘要記錄中的所述第一摘要值的序列進行比較；以及
輸出比較結(jié)果，該比較結(jié)果表明所述候選第二視頻流和在所述第一視頻流的所述相應的一個第一視頻流中的所述相應的圖像幀的序列之間的匹配。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：阿爾托·沃里，
申請(專利權(quán))人：蘇蓬諾爾有限公司，
類型：發(fā)明
國別省市：芬蘭;FI