基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法技術(shù)

本發(fā)明專利技術(shù)公開一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法。其中，該方法包括提取社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征；基于提取的文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示；利用多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，并將基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤。由此，本發(fā)明專利技術(shù)實(shí)施例能夠針對(duì)時(shí)序性的社會(huì)事件進(jìn)行有效地跟蹤，且有效地跟蹤整個(gè)事件過程的發(fā)展軌跡，并且讓用戶快速了解和分析整個(gè)事件的演變過程，從而改善了跟蹤效果，實(shí)現(xiàn)了基于多模態(tài)信息語義融合的社會(huì)事件跟蹤。

Social events tracking method based on social media platform

The invention discloses a method for tracking social events based on a social media platform. Among them, the method includes the extraction of social media platforms and social events of textual and visual information features; extraction of textual and visual information based on the features, using event online mode tracking method based on on-line modeling of multi modal data from social events, multimodal text and visual themes and social events document representation; the use of multimodal text and visual themes and social events document feature representation method for tracking and multi modal tracking method based on integrated online events to social events, to carry out social event tracking. Thus, the embodiment of the invention can effectively track the timing of social events, the development track and effectively track the entire event process, and allow users to quickly understand and analyze the evolution process of the entire event, so as to improve the tracking performance, and achieve semantic multimodal information fusion tracking based on social events.

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法
本專利技術(shù)涉及數(shù)據(jù)挖掘與數(shù)據(jù)跟蹤
，具體而言，涉及一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法。
技術(shù)介紹
隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多的社交網(wǎng)站(如Flickr，YouTube，臉譜網(wǎng)和谷歌新聞)出現(xiàn)在人們的視野，并且允許用戶去分享想法、心情、圖片、活動(dòng)、事件以及尋找具有相同愛好的人。所以，現(xiàn)在發(fā)生在我們周圍和世界周圍的熱門事件主題可以快速在各大媒體網(wǎng)站上傳播，并且產(chǎn)生了大量的多模態(tài)媒體數(shù)據(jù)，其包括圖片、視頻、文本等。這些被用戶傳播在網(wǎng)站的多媒體數(shù)據(jù)內(nèi)容大多和社會(huì)事件息息相關(guān)。然而在現(xiàn)實(shí)生活中，用戶人工收集這些所有的資料并且認(rèn)識(shí)事件的整個(gè)演變過程是非常耗時(shí)。社會(huì)事件跟蹤可以在一定程度上解決整個(gè)問題，它的目的是為了從大量的媒體數(shù)據(jù)中自動(dòng)識(shí)別以及跟蹤有趣的社會(huì)事件演變。舉例說明，用戶往往可能想要從開始到結(jié)束跟蹤整個(gè)“2011英國暴動(dòng)”這個(gè)主題演變過程。當(dāng)用戶在谷歌新聞上搜索整個(gè)相關(guān)事件的媒體信息時(shí)，可能會(huì)得到大量的相關(guān)信息。然而，結(jié)果往往只是顯示最近所發(fā)生的事情，而與它相關(guān)的事件信息可能過于分散，用戶為了了解整個(gè)事件不得不不斷地重復(fù)在這些信息之間進(jìn)行切換。此外，對(duì)于用戶來說，瀏覽如此大量的數(shù)據(jù)信息是非常耗時(shí)的，用戶也無法捕捉到整個(gè)事件的演變。因此，為了得到一個(gè)科學(xué)的事件分析過程，我們有必要自動(dòng)收集社會(huì)事件的整個(gè)發(fā)展趨勢并且用可視化的方式展示出來。如果得到了這個(gè)科學(xué)的分析過程，我們就可以知道“2011英國暴動(dòng)”這個(gè)事件整體在各個(gè)城市間的發(fā)展演變。總的來說，基于社會(huì)媒體平臺(tái)的社會(huì)事件跟蹤是非常重要的，從大量的社交媒體的數(shù)據(jù)中自動(dòng)挖掘和跟蹤社會(huì)事件，有助于用戶和政府更好地理解社會(huì)事件和知道它的演變趨勢。當(dāng)前，社會(huì)媒體平臺(tái)包含了大量的非結(jié)構(gòu)化的多模態(tài)媒體數(shù)據(jù)，它不同于傳統(tǒng)的只有單一模態(tài)的數(shù)據(jù)，比如只有文本數(shù)據(jù)。在不同的社會(huì)媒體平臺(tái)，社會(huì)事件具有豐富的多模態(tài)信息形式，比如文本、圖片和視頻等。這些多模態(tài)信息形式可以互相補(bǔ)充，能夠更好地幫助用戶理解事件。舉例說明，對(duì)于相同的一個(gè)社會(huì)事件，由于不同的用戶在媒體平臺(tái)上表述的文本內(nèi)容可能不同，但是其平臺(tái)上的視覺信息可能是相同或者相似的。然而，目前的一些工作可能都是集中研究某一種形態(tài)比如文本或者圖片。而人們需要綜合考慮多模態(tài)數(shù)據(jù)進(jìn)行社會(huì)事件的分析。第二，在社會(huì)事件的跟蹤過程中，各個(gè)媒體網(wǎng)站可能具有相似的事件報(bào)道，比如“占領(lǐng)華爾街”，“美國總統(tǒng)選舉”，它們都具有相似的主題，類似“美國，政府，總統(tǒng)”。但是，由于很多信息都是由用戶產(chǎn)生的，所以有可能會(huì)存在一些噪音。舉個(gè)例子，評(píng)論和相應(yīng)的圖片可能表述的事件沒有關(guān)系。這些問題很可能導(dǎo)致在線的社會(huì)事件跟蹤產(chǎn)生模型漂移。所以設(shè)計(jì)一種多模態(tài)融合策略和避免模型漂移問題的在線跟蹤方法對(duì)于社會(huì)事件跟蹤是非常有必要的。為了實(shí)現(xiàn)以上目標(biāo)，目前已經(jīng)提出了很多方法。在最近的研究中，很多主題模型方法也同樣被用于多模態(tài)主題的社會(huì)事件分析。然而，這些方法要么必須假設(shè)主題個(gè)數(shù)要么在傳統(tǒng)的主題模型中，使用不同的數(shù)據(jù)集訓(xùn)練模型并且最后選擇最好的數(shù)據(jù)集。這就意味著用戶必須對(duì)數(shù)據(jù)集的結(jié)構(gòu)做一個(gè)假設(shè)或者訓(xùn)練多種模型。
技術(shù)實(shí)現(xiàn)思路
為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決如何改善社會(huì)事件跟蹤效果的技術(shù)問題，提供一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法。為了實(shí)現(xiàn)上述目的，提供以下技術(shù)方案：一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法，該方法可以包括：提取社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征；基于提取的文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示；利用多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，并將基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤。優(yōu)選地，提取社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征，具體可以包括：針對(duì)社會(huì)媒體平臺(tái)上社會(huì)事件的文本信息，使用向量空間模型，并利用文本的上下文信息，提取文本特征；針對(duì)社會(huì)媒體平臺(tái)上社會(huì)事件的視覺信息，結(jié)合圖像的結(jié)構(gòu)信息，利用稀疏學(xué)習(xí)和字典學(xué)習(xí)，并基于詞袋模型，提取視覺信息特征；其中，視覺信息包括圖像的結(jié)構(gòu)信息。優(yōu)選地，基于提取的文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，具體可以包括：定義文檔層的狄利克雷：ψdj～G0，π’dj～Beta(1，α)，其中，ψdj表示社會(huì)事件文檔的主題分布，表示全局的主題分布；G0表示基礎(chǔ)分布；Beta()表示服從貝塔分布；π’dj和π’dl表示每一社會(huì)事件文檔的段棍構(gòu)造比例；α表示尺度參數(shù)；πdj表示文檔主題的權(quán)重分布；l表示索引標(biāo)記；j表示主題數(shù)目；Gd表示服從Dirichlet過程的隨機(jī)分布；表示ψdj點(diǎn)的概率測度；cdj表示指示變量，cdj～Mult(β)；Mult()表示服從多項(xiàng)式分布；通過文檔層的狄利克雷定義，得到視覺-文本主題空間分布；將視覺-文本主題空間分布作為已知先驗(yàn)，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示。優(yōu)選地，通過文檔層的狄利克雷定義，得到視覺-文本主題空間分布，具體可以包括：針對(duì)文本主題，根據(jù)狄利克雷先驗(yàn)分布，獲得文本主題空間的多項(xiàng)式分布；針對(duì)視覺主題，根據(jù)狄利克雷先驗(yàn)分布，獲得視覺主題空間的多項(xiàng)式分布；針對(duì)截?cái)鄬樱闃拥玫街黝}指示變量和文檔主題比例；根據(jù)主題指示變量和文檔主題比例，從文本主題空間抽樣得到文本單詞的主題；根據(jù)文本主題空間的多項(xiàng)式分布，對(duì)文本單詞的主題抽樣得到文本單詞；從視覺主題空間抽樣得到視覺單詞的主題；根據(jù)視覺主題空間的多項(xiàng)式分布，對(duì)視覺單詞的主題抽樣得到視覺單詞；基于文本單詞及視覺單詞，利用在線變分推斷的方法，得到視覺-文本主題空間分布。優(yōu)選地，利用多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，并將基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤，具體可以包括：基于多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，利用分類器，進(jìn)行基于社會(huì)事件的在線多模態(tài)跟蹤，得到社會(huì)事件的類標(biāo)；根據(jù)社會(huì)事件文檔的特征表示和社會(huì)事件的類標(biāo)，并將基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤。優(yōu)選地，分類器可以通過以下方式來構(gòu)建：根據(jù)下式構(gòu)建softmax函數(shù)：其中，yd表示文本的類標(biāo)；μt、和μt，l表示類的系數(shù)；C表示社會(huì)事件類別的數(shù)量；表示每一社會(huì)事件文檔的特征表示；通過softmax函數(shù)，并根據(jù)下式構(gòu)建分類器：其中，表示分類器；表示社會(huì)事件的類標(biāo)；表示新來的事件文檔的特征表示；表示類的系數(shù)。優(yōu)選地，根據(jù)社會(huì)事件文檔的特征表示和社會(huì)事件的類標(biāo)，并將基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤，具體可以包括：將各時(shí)刻的分類器集成為專家系統(tǒng)；利用累計(jì)函數(shù)和損失函數(shù)，得到最佳專家系統(tǒng)；利用最佳專家系統(tǒng)挖掘社會(huì)事件的文本和視覺主題，從而實(shí)現(xiàn)社會(huì)事件的跟蹤。優(yōu)選地，累計(jì)函數(shù)通過下式來構(gòu)建：其中，表示時(shí)刻t專家系統(tǒng)的損失函數(shù)；Δ表示時(shí)間窗口的大小；損失函數(shù)通過下式來構(gòu)建：其中，表示損失函數(shù)；L表示log似然函數(shù)，H表示熵項(xiàng)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法，其特征在于，所述方法包括：提取所述社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征；基于提取的所述文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示；利用所述多模態(tài)的文本和視覺主題以及所述社會(huì)事件文檔的特征表示，并將所述基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤。

【技術(shù)特征摘要】
1.一種基于社會(huì)媒體平臺(tái)上社會(huì)事件的跟蹤方法，其特征在于，所述方法包括：提取所述社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征；基于提取的所述文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示；利用所述多模態(tài)的文本和視覺主題以及所述社會(huì)事件文檔的特征表示，并將所述基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來進(jìn)行社會(huì)事件跟蹤。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述社會(huì)媒體平臺(tái)上社會(huì)事件的文本和視覺信息特征，具體包括：針對(duì)所述社會(huì)媒體平臺(tái)上社會(huì)事件的文本信息，使用向量空間模型，并利用文本的上下文信息，提取所述文本特征；針對(duì)所述社會(huì)媒體平臺(tái)上社會(huì)事件的視覺信息，結(jié)合圖像的結(jié)構(gòu)信息，利用稀疏學(xué)習(xí)和字典學(xué)習(xí)，并基于詞袋模型，提取所述視覺信息特征；其中，所述視覺信息包括所述圖像的結(jié)構(gòu)信息。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于提取的所述文本和視覺信息特征，利用基于事件的在線多模態(tài)跟蹤方法，在線地建模多模態(tài)數(shù)據(jù)的社會(huì)事件，得到多模態(tài)的文本和視覺主題以及社會(huì)事件文檔的特征表示，具體包括：定義文檔層的狄利克雷：ψdj～G0，π’dj～Beta(1,α)，其中，所述ψdj表示所述社會(huì)事件文檔的主題分布，所述表示全局的主題分布；所述G0表示基礎(chǔ)分布；所述Beta()表示服從貝塔分布；所述π’dj和所述π’dl表示每一所述社會(huì)事件文檔的段棍構(gòu)造比例；所述α表示尺度參數(shù)；所述πdj表示文檔主題的權(quán)重分布；所述l表示索引標(biāo)記；所述t表示主題數(shù)目；所述Gd表示服從Dirichlet過程的隨機(jī)分布；所述表示所述ψdj點(diǎn)的概率測度；所述cdj表示指示變量，cdj～Mult(β)；所述Mult()表示服從多項(xiàng)式分布；通過所述文檔層的狄利克雷定義，得到視覺-文本主題空間分布；將所述視覺-文本主題空間分布作為已知先驗(yàn)，得到所述多模態(tài)的文本和視覺主題以及所述社會(huì)事件文檔的所述特征表示。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過所述文檔層的狄利克雷定義，得到視覺-文本主題空間分布，具體包括：針對(duì)文本主題，根據(jù)狄利克雷先驗(yàn)分布，獲得文本主題空間的多項(xiàng)式分布；針對(duì)視覺主題，根據(jù)狄利克雷先驗(yàn)分布，獲得視覺主題空間的多項(xiàng)式分布；針對(duì)截?cái)鄬樱闃拥玫街黝}指示變量和文檔主題比例；根據(jù)主題指示變量和文檔主題比例，從所述文本主題空間抽樣得到文本單詞的主題；根據(jù)所述文本主題空間的所述多項(xiàng)式分布，對(duì)所述文本單詞的主題抽樣得到文本單詞；從所述視覺主題空間抽樣得到視覺單詞的主題；根據(jù)所述視覺主題空間的多項(xiàng)式分布，對(duì)所述視覺單詞的主題抽樣得到視覺單詞；基于所述文本單詞及所述視覺單詞，利用在線變分推斷的方法，得到所述視覺-文本主題空間分布。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述多模態(tài)的文本和視覺主題以及所述社會(huì)事件文檔的特征表示，并將所述基于事件的在線多模態(tài)跟蹤方法集成到社會(huì)事件跟蹤方法上，來...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐常勝，錢勝勝，張?zhí)熘?/a>，
申請(qǐng)(專利權(quán))人：中國科學(xué)院自動(dòng)化研究所，
類型：發(fā)明
國別省市：北京,11