豐富時間線和時間順序文本描述定義的內(nèi)容的方法和設(shè)備技術(shù)

本發(fā)明專利技術(shù)涉及一種用于豐富由時間線和由按時間順序排列的文本描述定義的多媒體內(nèi)容的方法，其特征在于它包括以下步驟：使用自然語言處理來至少在從網(wǎng)絡(luò)（N）取得的文本文檔（Pi）的部分中識別（E3）至少一個特征（F1、F2），自動將所述文本文檔的確定部分對齊（E4）到語義對應(yīng)于所述文本文檔的確定部分的按時間順序排列的文本描述的至少一部分，使得至少將文本文檔的該部分自動地與所述多媒體內(nèi)容的時間線同步，按時間順序排列的文本描述本身與時間線同步。

【技術(shù)實現(xiàn)步驟摘要】
豐富時間線和時間順序文本描述定義的內(nèi)容的方法和設(shè)備
本專利技術(shù)總地涉及將元數(shù)據(jù)關(guān)聯(lián)到多媒體內(nèi)容，并且具體地涉及一種用于利用例如網(wǎng)絡(luò)用戶在社交網(wǎng)絡(luò)或諸如網(wǎng)絡(luò)論壇的其它用戶生成的內(nèi)容庫上張貼的評論來豐富由時間線和由按時間順序排列的文本描述定義的多媒體內(nèi)容的方法和設(shè)備。
技術(shù)介紹
本節(jié)旨在向讀者介紹本領(lǐng)域的各個方面，這可能與下面所描述的和/或要求保護(hù)的本專利技術(shù)的各個方面相關(guān)。相信這種討論在給讀者提供背景信息以便于更好地理解本專利技術(shù)的各個方中是有幫助的。因此，應(yīng)當(dāng)理解，要從這個角度閱讀這些陳述，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。隨著諸如TWITTER和YOUTUBE、以及其它網(wǎng)絡(luò)論壇的社交網(wǎng)絡(luò)和平臺的發(fā)展，近些年對于由非專業(yè)作家(如電視用戶)寫作的關(guān)于多媒體內(nèi)容(例如電影)的評論的文本分析已經(jīng)取得了強烈的興趣。特別是，一些研究集中于用戶評論與視頻內(nèi)容、特別是與所述視頻內(nèi)容的時間線的同步。因而已知通過使用在實時事件期間通過社交網(wǎng)絡(luò)生成的文本微張貼(如由于TWITTER平臺的留言(tweet))來增強視聽內(nèi)容，通過使用微張貼的時間戳來直接完成同止/J/ O此外，也已知允許用戶觀看視頻內(nèi)容,并同時張貼自動和自然地與視頻內(nèi)的時間相關(guān)聯(lián)的評論的系統(tǒng)。在這兩種情況下，(如果已實現(xiàn))評論與視聽內(nèi)容的時間線的同步是簡單的，因為由于時間戳，評論已經(jīng)具有時間碼。換句話說，這些現(xiàn)有技術(shù)允許將評論與多媒體內(nèi)容的時間線同步，僅僅因為每個評論與時間信息(例如，文本微張貼在其對應(yīng)的社交網(wǎng)絡(luò)上被發(fā)送的時間)相關(guān)聯(lián)，所述多媒體內(nèi)容被同時播放。然而，這些現(xiàn)有技術(shù)的缺點依賴于它們要求在播放多媒體內(nèi)容期間寫入評論，以便使每個評論的發(fā)出時間與多媒體內(nèi)容的特定時間點相匹配的事實。此外，因為需要時間來寫評論，其內(nèi)容可能涉及多媒體內(nèi)容的先前場景，而不是涉及所述評論最終與之相關(guān)聯(lián)的場景。換句話說，同步表現(xiàn)為不準(zhǔn)確的。本專利技術(shù)試圖補救前面提到的缺點的至少一些，并且特別是不使用任何時間碼地將文本元數(shù)據(jù)與在特定時間點的多媒體內(nèi)容在其對應(yīng)的時間線中對齊。
技術(shù)實現(xiàn)思路
本專利技術(shù)涉及一種用于豐富由時間線和由按時間順序排列的文本描述定義的多媒體內(nèi)容的方法。為此，該方法包括以下步驟:-使用自然語言處理來至少在文本文檔的部分中識別至少一個特征，-自動將所述文本文檔的確定部分對齊到語義對應(yīng)于所述文本文檔的確定部分的按時間順序排列的文本描述的至少一部分，使得至少將文本文檔的該部分自動地與所述多媒體內(nèi)容的時間線同步。在本說明書中，應(yīng)理解:-文本文檔表示由專業(yè)或非專業(yè)用戶一尤其是，但不排他地，網(wǎng)絡(luò)和/或電視用戶一所寫的任何類型的文本，諸如測評、評論、博客或論壇帖子、百科全書的文章、新聞文章等。顯然，文本文檔可以由字母數(shù)字字符組成，-作者是寫出這樣的文本文檔的人(例如網(wǎng)絡(luò)用戶、電視用戶等)，-多媒體內(nèi)容可能對應(yīng)于視聽文檔(例如電影、體育賽事、無線電節(jié)目等)，-按時間順序排列的文本描述對應(yīng)于按時間順序描述多媒體內(nèi)容的任何類型的文本文檔。作為非限制性示例，這種按時間順序排列的文本描述可以是電影腳本、足球比賽概述、電影字幕、電影音頻描述腳本等，-特征是在文本文檔中提到、描述或評價的多媒體內(nèi)容的特定元素，諸如具體的場景、事件或動作，電影的特定方面(命名實體、演員、導(dǎo)演、燈光等)，或者具體場景中的特定方面。此外，在下面的說明書中，假定多媒體內(nèi)容和它的按時間順序排列的文本描述已經(jīng)由于已知技術(shù)對齊在一起，使得按時間順序排列的文本描述直接和已經(jīng)與所述多媒體內(nèi)容的時間線同步。在一個變型中，這樣的對齊可能在實施本專利技術(shù)之后進(jìn)行。因此，由于本專利技術(shù)，可以在文本文檔和多媒體內(nèi)容的按時間順序排列的文本描述之間進(jìn)行文本到文本的對齊，而無需使用時間碼或時間信息。這種方法可能至少使文本文檔的一段與多媒體內(nèi)容的按時間順序排列的文本描述的一個或幾個對應(yīng)部分對齊，以便在按時間順序排列的文本描述內(nèi)關(guān)聯(lián)其所涉及的時間線的一個或幾個時間點或時間間隔。本專利技術(shù)的方法不打算將文本文檔、或其部分，與所述多媒體內(nèi)容直接匹配，而只是通過對應(yīng)的按時間順序排列的文本描述。此外，應(yīng)理解，單一文本文檔中提到的特征可以涉及按時間順序排列的文本描述中的幾個不同的時間點或時間間隔。此外，自然語言處理是計算機科學(xué)、人工智能和與計算機和人類(自然)語言之間的交互有關(guān)的語言學(xué)的領(lǐng)域。因此，NLP與人機交互的領(lǐng)域有關(guān)。在本專利技術(shù)的一個方面，可以從一組文本文檔識別所述文本文檔，作為涉及多媒體內(nèi)容。此外，可以從因特網(wǎng)網(wǎng)絡(luò)取得所述一組文本文檔。在本專利技術(shù)的另一個方面，在所述對齊步驟期間，可以有利地實施首語重復(fù)分辨(anaphora resolution)技術(shù)以執(zhí)行所述文本文檔的確定部分和按時間順序排列的文本描述之間的語義對應(yīng)。此外，可以在多個文本文檔上應(yīng)用識別步驟和對齊步驟以自動地使所述文本文檔與多媒體內(nèi)容的時間線同步。根據(jù)本專利技術(shù)的優(yōu)選實施例，屬于下列特征分組的特征至少包括:-字詞的組合；-語義實體；-字詞列表；-事件。優(yōu)選地，自然語言處理對應(yīng)于實體識別處理或基于特征的觀點分析。在本專利技術(shù)的實現(xiàn)示例中，多媒體內(nèi)容是視聽內(nèi)容并且文本文檔是由網(wǎng)絡(luò)用戶寫的評論(所謂的帖子)。在本專利技術(shù)的另一個方面，所述多媒體內(nèi)容被分段成其中時間線的對應(yīng)時間間隔與之相關(guān)聯(lián)的多個場景，作為其與相關(guān)聯(lián)的按時間順序排列的文本描述同步的結(jié)果，文本文檔可以被同步到它所涉及的場景的時間間隔。此外，本專利技術(shù)還涉及一種用于豐富由時間線和由按時間順序排列的文本描述定義的多媒體內(nèi)容的系統(tǒng)。根據(jù)本專利技術(shù)，該系統(tǒng)包括:-被配置為至少在文本文檔的部分中識別至少一個特征的自然語言處理模塊，-用于自動將所述文本文檔的確定部分對齊到語義對應(yīng)于所述文本文檔的確定部分的按時間順序排列的文本描述的至少一部分的對齊模塊，使得至少將文本文檔的該部分自動地與所述多媒體內(nèi)容的時間線同步。與所公開的實施例在范圍上相當(dāng)?shù)哪承┓矫骊U述如下。應(yīng)理解，提出這些方面僅用于向讀者提供本專利技術(shù)可以采取的某些形式的簡要概述，并且這些方面并不意在限制本專利技術(shù)的范圍。事實上，本專利技術(shù)可包括下面沒有闡明的各種方面。【附圖說明】借助于以下實施例和執(zhí)行示例，不以任何方式限制地參照附圖將更好地理解和說明本專利技術(shù)，附圖中:-圖1是根據(jù)本專利技術(shù)的優(yōu)選實施例的用于豐富多媒體內(nèi)容的系統(tǒng)的框圖；-圖2是根據(jù)該優(yōu)選實施例的示出由用于豐富多媒體內(nèi)容的方法實施的步驟的流程圖；-圖3是根據(jù)該優(yōu)選實施例的描繪了用于豐富電影的步驟的全局圖；-圖4表示來自電影專用網(wǎng)站的由第一用戶答復(fù)先前的第二用戶的帖子而寫的帖子的屏幕截圖。在可能的地方，相同的附圖標(biāo)記將被用于整個附圖來指代相同或相似的部件。【具體實施方式】根據(jù)優(yōu)選實施例的示例，關(guān)于其中時間線和腳本相關(guān)聯(lián)的電影來描繪本專利技術(shù)。應(yīng)注意，腳本是電影的按時間順序排列的文本描述的特定示例。顯然，本專利技術(shù)不限于這些示例，并且可以被應(yīng)用到由時間線和由至少一個按時間順序排列的文本描述(諸如腳本)定義的任何多媒體內(nèi)容。根據(jù)該示例，圖1描繪了用于利用文本文檔(例如由專業(yè)和/或非專業(yè)網(wǎng)絡(luò)/電視用戶所寫的帖子)來豐富電影的系統(tǒng)S。該電影由一連串的按時間順序排列的場景組成。具體地，該系統(tǒng)S直接地或通過網(wǎng)關(guān)(未在圖1中表示)連接到網(wǎng)絡(luò)N (例如因特網(wǎng)網(wǎng)絡(luò))。顯然地，在一個變型中，所述系統(tǒng)S本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種用于豐富包括時間線和按時間順序排列的文本描述的多媒體內(nèi)容的方法，其特征在于它包括以下步驟：?使用自然語言處理來至少在從網(wǎng)絡(luò)（N）取得的文本文檔（Pi）的部分中識別（E3）至少一個特征（F1、F2），?自動將所述文本文檔（Pi）的確定部分對齊（E4）到語義對應(yīng)于所述文本文檔（Pi）的確定部分的按時間順序排列的文本描述的至少一部分，使得至少將文本文檔（Pi）的該部分自動地與所述多媒體內(nèi)容的時間線同步。

【技術(shù)特征摘要】
2013.02.11 EP 13305163.11.一種用于豐富包括時間線和按時間順序排列的文本描述的多媒體內(nèi)容的方法，其特征在于它包括以下步驟: -使用自然語言處理來至少在從網(wǎng)絡(luò)(N)取得的文本文檔(Pi)的部分中識別(E3)至少一個特征(F1、F2)， -自動將所述文本文檔(Pi)的確定部分對齊(E4)到語義對應(yīng)于所述文本文檔(Pi)的確定部分的按時間順序排列的文本描述的至少一部分， 使得至少將文本文檔(Pi)的該部分自動地與所述多媒體內(nèi)容的時間線同步。2.根據(jù)權(quán)利要求1所述的方法，其中，從一組文本文檔(Pi)識別(El)所述文本文檔(Pi )，作為涉及所述多媒體內(nèi)容。3.根據(jù)權(quán)利要求2所述的方法，其中，從因特網(wǎng)網(wǎng)絡(luò)(N)取得(E2)所述一組文本文檔。4.根據(jù)前述權(quán)利要求中的一項所述的方法，其中，在所述對齊(E4)步驟期間，實施首語重復(fù)分辨技術(shù)以執(zhí)行所述文本文檔(Pi)的確定部分和按時間順序排列的文本描述之間的語義對應(yīng)。5.根據(jù)前述權(quán)利要求中的一項所述的方法，其中，在多個文本文檔(Pi)上應(yīng)用識別(E3)步驟和對齊(E4)步驟以自動地使所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：M格甘，J拉納甘，P施莫克，A蘭伯特，
申請(專利權(quán))人：湯姆遜許可公司，
類型：發(fā)明
國別省市：法國;FR