一種基于多模態自適應社會關系強度挖掘的社會搜索方法技術

本發明專利技術公開了一種基于多模態生成式模型的自適應社會關系強度挖掘方法，是通過收集用戶上傳的圖片信息以及與其有社會關系的用戶，將每個用戶對應一個由上傳圖像集合、圖像標注集合和社會網絡組成的三元組；根據輸入的三元組，通過一種多模態生成式模型，將圖片內容和標注的生成過程反推進行推斷，得到一個可以描述用戶興趣分布的主題空間和用戶的主題分布；對得到的主題空間和用戶主題分布進行計算，得到用戶與用戶之間的主題敏感的關系強度，并用于自適應的多媒體檢索等應用。

【技術實現步驟摘要】

本專利技術涉及多媒體搜索領域，特別涉及。
技術介紹
社會媒體(Social Media)已經極大地改變了用戶分享和獲取信息的方式和習慣。在社會媒體服務中，用戶不可避免地與其他用戶交互構成社區，即所謂的社會網絡。社會網絡中包括雙向的社會關系，如LinkedIn中的“關聯(Connect) ”和Facebook中的“加為好友(Add Friend) ”，以及單向的社會關系，如Twitter中的“跟隨(Follow) ”和Youtube中的“訂閱(Subscribe) ”。這些社會關系被認為影響著用戶的行為以及社會網絡的動態發展。如，LinkedIn上的同事可以影響一個人工作上的選擇，Facebook上的好友則會影響一個人生活中的行為和需求。通過分析和挖掘這些社會關系可以促生很多重要的應用，如病毒式營銷、協同推薦和協同信息搜索等等。以基于單向社會關系的多媒體協同搜索為例，其基本假設和出發點是通過分析對搜索用戶有影響關系的其他用戶的行為，可以預測搜索用戶的真實需求并調整搜索結果。目前針對社會關系挖掘的方法，主要集中于研究是否存在社會關系以及社會關系的強度預測。在很多問題中，二值化或者連續的社會關系并不能滿足應用的需求。如在多媒體搜索問題中，對于不同的搜索詞，用戶之間的社會關系是不同的。假設用戶要為自己的蜜月旅行搜索“夏威夷”的照片，有旅游特長的好友會對他的幫助最大，我們希望他們之間的社會關系變強；而當同一個用戶搜索“時裝秀”的照片時，則會希望對流行時尚有研究的好友能更多地影響搜索結果，即他們之間的社會關系變強。我們稱這種與問題相關的社會關系為自適應的社會關系強度，并將在本專利技術中介紹一種基于多模態生成式模型的自適應社會關系強度挖掘方法。
技術實現思路
(一 )要解決的技術問題本專利技術的目的是提供根據挖掘出的自適應的社會關系強度進行圖片搜索，在用戶不同的需求時，可以自動得到來自不同用戶的協助，從而有助于理解和預測用戶真實的需求，進而準確定位符合用戶真實需求的搜索結果。( 二 )技術方案為解決上述技術問題，本專利技術提供了，該方法包括步驟如下步驟1:收集用戶上傳的圖片信息以及與其有單向社會關系的用戶，每個用戶對應一個由上傳圖像集合、圖像標注集合和與其有單向社會關系的關系用戶集合組成的三元組；步驟2 :根據輸入的三元組，建立多模態概率生成式模型，將所述圖像集合中的圖片內容和圖像標注集合中的圖像標注信息的生成過程進行推斷；步驟3 :根據推斷結果計算用戶主題空間和用戶主題分布，計算用戶與用戶之間的主題敏感的社會關系強度；步驟4:根據所得到的用戶主題空間、用戶主題分布以及社會關系強度對搜索結果進行排序。(三)有益效果本專利技術采用了多模態生成式模型，對觀測到的用戶社會網絡、用戶上傳圖像和提供標注進行反推，提出一種主題敏感的社會關系強度挖掘方法。該專利技術解決了社會關系強度在不同問題中自適應調整的問題，其中同時考慮文本標注數據和視覺圖像特征，可以較好地分析多媒體應用中的社會關系強度；另外，通過該方法可以同時得到主題空間、用戶的主題分布以及用戶之間的關系在不同主題上的強度。附圖說明圖1為根據本專利技術的基于多模態生成式模型的自適應社會關系強度挖掘方法的流程圖；圖2為根據本專利技術的多模態生成式主題模型的示意圖；圖3為根據本專利技術所提供的方法在Flickr數據集上的實施效果的示意圖；圖4為根據本專利技術所提供的方法在Flickr數據集上的實施效果的另一示意圖。具體實施例方式為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本專利技術作進一步的詳細說明。本專利技術實現一種社會多媒體環境下主題敏感的社會關系強度分析的方法，可針對不同應用，自適應調節社會關系強度。相比現有的社會關系強度分析方法，一方面獲得主題敏感的社會關系強度，可自適應根據問題進行調節；另一方面，通過綜合考慮文本信息和視覺信息，可以更好地服務于多媒體應用。圖1為根據本專利技術的基于多模態生成式模型的自適應社會關系強度挖掘方法的流程圖。如圖1所示，本專利技術所提供的方法，包括如下步驟步驟1:輸入預處理步驟，即收集用戶上傳的圖片信息以及與其有單向社會關系的用戶，這里的單向社會關系指社會媒體分享網站中的有向社會行為，如Flickr中的聯系(contact)或Twitter中的跟隨(follow)。每個用戶對應一個由與其具有單向社會關系的關系用戶集合、該用戶上傳的圖像集合和圖像標注集合組成的三元組，其中圖像標注指該用戶提供的描述圖像的原始標簽(Tag)信息；步驟2 :多模態主題敏感社會關系挖掘步驟，即根據輸入的所述三元組，通過一種多模態生成式模型，將所述圖像集合中的圖片內容和圖像標注集合中的圖像標注信息的生成過程反推進行推斷，得到一個可以描述用戶興趣分布的主題空間和用戶主題分布；步驟3 :輸出參數計算步驟，即對得到的所述主題空間和所述用戶主題分布進行計算，得到用戶與用戶之間的主題敏感的關系強度。下面對各步驟進行詳細描述。下表給出了本專利技術所用到的關鍵符號列表及其對應的描述。本文檔來自技高網...

【技術保護點】
一種基于多模態自適應社會關系強度挖掘的社會搜索方法，該方法包括步驟如下：步驟1：收集用戶上傳的圖片信息以及與其有單向社會關系的用戶，每個用戶對應一個由上傳圖像集合、圖像標注集合和與其有單向社會關系的關系用戶集合組成的三元組；步驟2：根據輸入的三元組，建立多模態概率生成式模型，將所述圖像集合中的圖片內容和圖像標注集合中的圖像標注信息的生成過程進行推斷；步驟3：根據推斷結果計算用戶主題空間和用戶主題分布，計算用戶與用戶之間的主題敏感的社會關系強度；步驟4：根據所得到的用戶主題空間、用戶主題分布以及社會關系強度對搜索結果進行排序。

【技術特征摘要】
1.一種基于多模態自適應社會關系強度挖掘的社會搜索方法，該方法包括步驟如下 步驟1:收集用戶上傳的圖片信息以及與其有單向社會關系的用戶，每個用戶對應一個由上傳圖像集合、圖像標注集合和與其有單向社會關系的關系用戶集合組成的三元組； 步驟2:根據輸入的三元組，建立多模態概率生成式模型，將所述圖像集合中的圖片內容和圖像標注集合中的圖像標注信息的生成過程進行推斷； 步驟3 :根據推斷結果計算用戶主題空間和用戶主題分布，計算用戶與用戶之間的主題敏感的社會關系強度； 步驟4:根據所得到的用戶主題空間、用戶主題分布以及社會關系強度對搜索結果進行排序。2.如權利要求1所述的方法，其特征在于，所述步驟I包括 步驟11 :對每個用戶U，根據其社會關系網絡采集與其有單向社會關系的用戶，組成集合Cu ； 步驟12 :對每個用戶U，采集其上傳的圖片，組成集合Du; 步驟13 :對每個用戶U，采集其對所上傳的圖片添加的標注，組成集合Tu。3.如權利要求1所述的方法，其特征在于，所述步驟2包括 步驟21 :建立主題敏感的多模態概率生成式模型，來模擬圖片和標注的生成過程；其中通過設置隱變量來描述建立多模態概率生成式模型的過程；其中，所述隱變量包括開關隱變量S、主題記錄隱變量z和采樣用戶隱變量C，所述開關隱變量s表示標注詞和圖像是用戶自發產生還是受關系用戶影響而產生的；所述主題記錄隱變量z表示采樣得到的主題；所述用戶隱變量c表示采樣得到的關系用戶； 步驟22 :求解所述多模態概率生成式模型，其中通過吉布斯采樣推斷得到所述隱變量的取值。4....

【專利技術屬性】
技術研發人員：徐常勝，桑基韜，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：