• 
    <ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>

    一種協(xié)同過濾距離的處理方法和系統(tǒng)技術(shù)方案

    技術(shù)編號:8593990 閱讀:158 留言:0更新日期:2013-04-18 07:10
    本發(fā)明專利技術(shù)公開了本發(fā)明專利技術(shù)一種協(xié)同過濾距離的處理方法和系統(tǒng),涉及計算機技術(shù)領(lǐng)域。所述方法包括:針對至少兩個計算服務(wù)器,每個參與計算的計算服務(wù)器讀取并存儲相應(yīng)的分塊矩陣數(shù)據(jù);所述分塊矩陣數(shù)據(jù)為從原始矩陣數(shù)據(jù)中分配給所述計算服務(wù)器的分塊矩陣數(shù)據(jù);每個參與計算計算服務(wù)器計算本地的分塊矩陣數(shù)據(jù),獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣。本發(fā)明專利技術(shù)解決了只能由單計算服務(wù)器計算獲得協(xié)同過濾距離矩陣的問題,取得了在互聯(lián)網(wǎng)環(huán)境下,可以提高針對海量數(shù)據(jù)的協(xié)同過濾距離矩陣的計算效率,減少計算時間的有益效果。

    【技術(shù)實現(xiàn)步驟摘要】

    本專利技術(shù)涉及計算機
    ,具體涉及ー種協(xié)同過濾距離的處理方法和系統(tǒng)
    技術(shù)介紹
    互聯(lián)網(wǎng)上的信息資源呈指數(shù)膨脹帶來了所謂的“信息過載”和“信息迷向”問題,即人們很難找到自己感興趣的信息,即使找到了ー些,也經(jīng)常混有很多“噪音”。因此出現(xiàn)了面向互聯(lián)網(wǎng)的信息檢索、信息過濾和協(xié)同過濾等技術(shù)。但信息檢索不具有智能性,不能學(xué)習(xí)用戶的興趣,尤其是對具有特定專業(yè)興趣的用戶,輸入相同的關(guān)鍵詞只能得到相同的檢索結(jié)果。信息過濾不能對同一主題的過濾結(jié)果區(qū)分質(zhì)量好壞,并且隨著信息資源的劇增,更有效的過濾需要結(jié)合人們的質(zhì)量評價信息。基于該種需求,出現(xiàn)了推薦系統(tǒng),推薦系統(tǒng)是為解決信息過載問題而提出的ー種智能代理系統(tǒng),能從大量信息中向用戶自動推薦出符合其興趣偏好或需求的資源。隨著互聯(lián)網(wǎng)的普及和飛速發(fā)展,推薦系統(tǒng)已經(jīng)被廣泛應(yīng)用于各種領(lǐng)域,尤其在電子商務(wù)領(lǐng)域,推薦系統(tǒng)得到了越來越多的研究和應(yīng)用。目前,幾乎所有的大型電子商務(wù)網(wǎng)站都不同程度的使用了各種形式的推薦系統(tǒng),比如Amazon、CDNOff> eBay和當當網(wǎng)上書店等。其中,協(xié)同過濾技術(shù)在當前推薦系統(tǒng)的應(yīng)用中獲得了較大的成功。協(xié)同過濾是ー類推薦算法。協(xié)同過濾考慮了用戶的評價信息。協(xié)同過濾分析用戶興趣,在用戶群中找到指定用戶的相似(興趣)用戶,綜合這些相似用戶對某一信息的評價,形成系統(tǒng)對該指定用戶對此信息的喜好程度的預(yù)測。主要分為基于用戶的協(xié)同過濾(User based)和基于商品的(Item based)兩種。例如基于用戶的協(xié)同過濾算法,它的基本思想是如果要為一個用戶推薦其沒有的商品,首先計算其它用戶和這個用戶的喜好的相似程度,然后從與其喜好最相似的若干用戶中找到這個用戶沒有的商品進行推薦。基于商品的協(xié)同過濾原理類似。因此算法中非常重要的一歩就是計算所有用戶間的相似程度(也即協(xié)同過濾距離)。在互聯(lián)網(wǎng)環(huán)境下,用戶和商品都是海量數(shù)據(jù),同時由于實效性對算法有一定的時間要求,而現(xiàn)有技術(shù)中對于協(xié)同過濾距離的計算基本上是在ー個計算服務(wù)器上進行,而當遭遇超大量的用戶,比如百萬數(shù)量級的時候,采用單服務(wù)器計算則時效太慢,并且對于硬件的要求比較高。
    技術(shù)實現(xiàn)思路
    鑒于上述問題,提出了本專利技術(shù)以便提供ー種克服上述問題或者至少部分地解決上述問題的一種協(xié)同過濾距離的處理系統(tǒng)和相應(yīng)的ー種協(xié)同過濾距離的處理方法。依據(jù)本專利技術(shù)的ー個方面,提供了ー種協(xié)同過濾距離的處理方法,包括針對至少兩個計算服務(wù)器,每個參與計算的計算服務(wù)器讀取并存儲相應(yīng)的分塊矩陣數(shù)據(jù);所述分塊矩陣數(shù)據(jù)為從原始矩陣數(shù)據(jù)中分配給所述計算服務(wù)器的分塊矩陣數(shù)據(jù);每個參與計算計算服務(wù)器計算本地的分塊矩陣數(shù)據(jù),獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;所述每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲取協(xié)同過濾距離子矩陣具體包括針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器;所述目的計算服務(wù)器用于接收當前計算服務(wù)器發(fā)送的本地的矩陣數(shù)據(jù);每個參與計算的計算服務(wù)器發(fā)送本地的分塊矩陣數(shù)據(jù)至目的計算服務(wù)器,并接收其他計算服務(wù)器發(fā)送的分塊矩陣數(shù)據(jù);所述其他計算服務(wù)器為將當前計算服務(wù)器確認為目的服務(wù)器的計算服務(wù)器;每個接收到分塊矩陣數(shù)據(jù)的計算服務(wù)器,結(jié)合本地的分塊矩陣數(shù)據(jù),計算獲得本地的分塊矩陣數(shù)據(jù)和接收到的分塊矩陣數(shù)據(jù)之間的協(xié)同過濾距離子矩陣。可選的,所述針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器包括所述針對每個參與計算的計算服務(wù)器,根據(jù)當前的循環(huán)通信計算輪次、當前計算服務(wù)器的標識和計算服務(wù)器的總個數(shù),確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器。可選的,所述針對每個參與計算的計算服務(wù)器,根據(jù)當前的循環(huán)通信計算輪次、當前計算服務(wù)器的標識和計算服務(wù)器的總個數(shù),確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器包括將當前各計算服務(wù)器間進行循環(huán)通信計算的輪次P,與計算服務(wù)器的總個數(shù)N的一半N/2進行比較;如果比較結(jié)果符合預(yù)設(shè)條件,則每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器;如果比較結(jié)果不符合預(yù)設(shè)條件,則結(jié)束獲得協(xié)同過濾距離子矩陣的計算。可選的,所述將當前各計算服務(wù)器間進行循環(huán)通信計算的輪次P,與計算服務(wù)器的總個數(shù)N的一半N/2進行比較之后還包括判斷計算服務(wù)器的總個數(shù)N是否為偶數(shù);如果計算服務(wù)器的總個數(shù)N為偶數(shù),則判斷當前通信輪次p是否為最后ー輪通ィ目;如果當前輪次p是最后ー輪通信,則每個參與計算的計算服務(wù)器,判斷其標識i是否小于N/2 ;如果標識i小于N/2,則標識i小于N/2的計算服務(wù)器,進入根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程;如果標識i不小于N/2,則進入判斷當前各計算服務(wù)器間進行循環(huán)通信計算的輪次P,是否小于計算服務(wù)器的總個數(shù)N的一半N/2的過程;如果當前輪次p是最后ー輪通信,則進入每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程;如果計算服務(wù)器的總個數(shù)N為奇數(shù),則進入每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程。可選的,當所述輪次從0開始計數(shù),計算服務(wù)器的標識i從0開始標識,則所述根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果u包括將當前計算服務(wù)器的標識i和輪次P,代入公式(i+p+1) % N計算得到結(jié)果u ;當所述輪次從I開始計數(shù),計算服務(wù)器的標識i從0開始標識,則所述根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果u包括將當前計算服務(wù)器的標識i和輪次P,代入公式(i+p) % N計算得到結(jié)果U。可選的,還包括將每個參與計算的計算服務(wù)器計算得到的所有協(xié)同過濾子矩陣進行統(tǒng)ー轉(zhuǎn)換,獲得完整的協(xié)同過濾矩陣。可選的,所述每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算包括每個參與計算的計算服務(wù)器采用訊息傳遞接ロ發(fā)送函數(shù)MPI_send和訊息傳遞接ロ接收函數(shù)MPIjecv進行各計算服務(wù)器間的循環(huán)通信計算。依據(jù)本專利技術(shù)的另外ー個方面,提供了一種協(xié)同過濾距離的處理系統(tǒng),包括N個計算服務(wù)器;所述每個參與計算的計算服務(wù)器包括數(shù)據(jù)讀取存儲模塊,適于每個參與計算的計算服務(wù)器讀取并存儲相應(yīng)的分塊矩陣數(shù)據(jù);所述分塊矩陣數(shù)據(jù)為從原始矩陣數(shù)據(jù)中分配給所述計算服務(wù)器的分塊矩陣數(shù)據(jù);本地數(shù)據(jù)計算模塊,適于每個參與計算的計算服務(wù)器計算本地的分塊矩陣數(shù)據(jù),獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;循環(huán)通信計算模塊,適于每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣; 所述循環(huán)通信計算模塊包括目的計算服務(wù)器確認模塊,適于針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器;所述目的計算服務(wù)器用于接收當前計算服務(wù)器發(fā)送的本地的矩陣數(shù)據(jù);矩陣本文檔來自技高網(wǎng)
    ...

    【技術(shù)保護點】
    一種協(xié)同過濾距離的處理方法,其特征在于,包括:針對至少兩個計算服務(wù)器,每個參與計算的計算服務(wù)器讀取并存儲相應(yīng)的分塊矩陣數(shù)據(jù);所述分塊矩陣數(shù)據(jù)為從原始矩陣數(shù)據(jù)中分配給所述計算服務(wù)器的分塊矩陣數(shù)據(jù);每個參與計算計算服務(wù)器計算本地的分塊矩陣數(shù)據(jù),獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;所述每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲取協(xié)同過濾距離子矩陣具體包括:針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器;所述目的計算服務(wù)器用于接收當前計算服務(wù)器發(fā)送的本地的矩陣數(shù)據(jù);每個參與計算的計算服務(wù)器發(fā)送本地的分塊矩陣數(shù)據(jù)至目的計算服務(wù)器,并接收其他計算服務(wù)器發(fā)送的分塊矩陣數(shù)據(jù);所述其他計算服務(wù)器為將當前計算服務(wù)器確認為目的服務(wù)器的計算服務(wù)器;每個接收到分塊矩陣數(shù)據(jù)的計算服務(wù)器,結(jié)合本地的分塊矩陣數(shù)據(jù),計算獲得本地的分塊矩陣數(shù)據(jù)和接收到的分塊矩陣數(shù)據(jù)之間的協(xié)同過濾距離子矩陣。

    【技術(shù)特征摘要】
    1.一種協(xié)同過濾距離的處理方法,其特征在于,包括 針對至少兩個計算服務(wù)器,每個參與計算的計算服務(wù)器讀取并存儲相應(yīng)的分塊矩陣數(shù)據(jù);所述分塊矩陣數(shù)據(jù)為從原始矩陣數(shù)據(jù)中分配給所述計算服務(wù)器的分塊矩陣數(shù)據(jù); 每個參與計算計算服務(wù)器計算本地的分塊矩陣數(shù)據(jù),獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣; 每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲得本地分塊矩陣數(shù)據(jù)的協(xié)同過濾距離子矩陣;所述每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算,獲取協(xié)同過濾距離子矩陣具體包括 針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器;所述目的計算服務(wù)器用于接收當前計算服務(wù)器發(fā)送的本地的矩陣數(shù)據(jù); 每個參與計算的計算服務(wù)器發(fā)送本地的分塊矩陣數(shù)據(jù)至目的計算服務(wù)器,并接收其他計算服務(wù)器發(fā)送的分塊矩陣數(shù)據(jù);所述其他計算服務(wù)器為將當前計算服務(wù)器確認為目的服務(wù)器的計算服務(wù)器; 每個接收到分塊矩陣數(shù)據(jù)的計算服務(wù)器,結(jié)合本地的分塊矩陣數(shù)據(jù),計算獲得本地的分塊矩陣數(shù)據(jù)和接收到的分塊矩陣數(shù)據(jù)之間的協(xié)同過濾距離子矩陣。2.如權(quán)利要求1所述的方法,其特征在于,所述針對每個參與計算的計算服務(wù)器,確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器包括 所述針對每個參與計算的計算服務(wù)器,根據(jù)當前的循環(huán)通信計算輪次、當前計算服務(wù)器的標識和計算服務(wù)器的總個數(shù),確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器。3.如權(quán)利要求2所述的方法,其特征在于,所述針對每個參與計算的計算服務(wù)器,根據(jù)當前的循環(huán)通信計算輪次、當前計算服務(wù)器的標識和計算服務(wù)器的總個數(shù),確認當前計算服務(wù)器對應(yīng)的目的計算服務(wù)器包括 將當前各計算服務(wù)器間進行循環(huán)通信計算的輪次P,與計算服務(wù)器的總個數(shù)N的一半N/2進行比較; 如果比較結(jié)果符合預(yù)設(shè)條件,則每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器; 如果比較結(jié)果不符合預(yù)設(shè)條件,則結(jié)束獲得協(xié)同過濾距離子矩陣的計算。4.如權(quán)利要求3所述的方法,其特征在于,所述將當前各計算服務(wù)器間進行循環(huán)通信計算的輪次P,與計算服務(wù)器的總個數(shù)N的一半N/2進行比較之后還包括 判斷計算服務(wù)器的總個數(shù)N是否為偶數(shù); 如果計算服務(wù)器的總個數(shù)N為偶數(shù),則判斷當前通信輪次P是否為最后一輪通信; 如果當前輪次P是最后一輪通信,則每個參與計算的計算服務(wù)器,判斷其標識i是否小于 N/2 ; 如果標識i小于N/2,則標識i小于N/2的計算服務(wù)器,進入根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程; 如果標識i不小于N/2,則進入判斷當前各計算服務(wù)器間進行循環(huán)通信計算的輪次p,是否小于計算服務(wù)器的總個數(shù)N的一半N/2的過程;如果當前輪次P是最后一輪通信,則進入每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程; 如果計算服務(wù)器的總個數(shù)N為奇數(shù),則進入每個參與計算的計算服務(wù)器,根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果U,將與u對應(yīng)的計算服務(wù)器作為當前計算服務(wù)器的目標計算服務(wù)器的過程。5.如權(quán)利要求3或4所述的方法,其特征在于, 當所述輪次從O開始計數(shù),計算服務(wù)器的標識i從O開始標識,則所述根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果u包括 將當前計算服務(wù)器的標識i和輪次P,代入公式(i+P+1) % N計算得到結(jié)果u ; 當所述輪次從I開始計數(shù),計算服務(wù)器的標識i從O開始標識,則所述根據(jù)當前計算服務(wù)器的標識i和輪次P,針對N進行取模運算得到結(jié)果u包括 將當前計算服務(wù)器的標識i和輪次P,代入公式(i+P) % N計算得到結(jié)果U。6.如權(quán)利要求1所述的方法,其特征在于,還包括 將每個參與計算的計算服務(wù)器計算得到的所有協(xié)同過濾子矩陣進行統(tǒng)一轉(zhuǎn)換,獲得完整的協(xié)同過濾矩陣。7.如權(quán)利要求1所述的方法,其特征在于,所述每個參與計算的計算服務(wù)器進行各計算服務(wù)器間的循環(huán)通信計算包括 每個參與計算的計算服務(wù)器采用訊息傳遞接口發(fā)送函數(shù)MPI_send和訊息傳遞接口接收函數(shù)MPI_recV進...

    【專利技術(shù)屬性】
    技術(shù)研發(fā)人員:齊路何銳邦唐會軍
    申請(專利權(quán))人:北京奇虎科技有限公司奇智軟件北京有限公司
    類型:發(fā)明
    國別省市:

    網(wǎng)友詢問留言 已有0條評論
    • 還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。

    1
    主站蜘蛛池模板: 99热门精品一区二区三区无码| 国产成人AV一区二区三区无码| 亚洲VA中文字幕无码一二三区| 成人免费无遮挡无码黄漫视频| 国产网红主播无码精品| 亚洲精品午夜无码专区| 亚洲AV无码专区亚洲AV桃| 久久老子午夜精品无码| 日韩美无码五月天| 人妻丰满熟妇AV无码区乱| 国产成人精品一区二区三区无码 | 成人毛片无码一区二区| 久久国产三级无码一区二区| 2019亚洲午夜无码天堂| 国产精品无码一区二区三级| 热の无码热の有码热の综合| 亚洲av无码国产综合专区| 精品亚洲AV无码一区二区| 中文字幕无码乱人伦| 亚洲av日韩aⅴ无码色老头| 国产爆乳无码一区二区麻豆| 国产精品无码永久免费888| 久久亚洲精品成人无码| 国产午夜精品无码| 国产成人AV无码精品| 无码任你躁久久久久久久 | 永久免费av无码网站大全| 国产品无码一区二区三区在线 | 日韩精品人妻系列无码专区| 国产在线无码一区二区三区视频| 波多野结AV衣东京热无码专区| 精品亚洲AV无码一区二区| 久久午夜夜伦鲁鲁片免费无码影视| 国产无遮挡无码视频免费软件| 精品一区二区无码AV| 亚洲一区爱区精品无码| 无码AV中文一区二区三区| 精品多人p群无码| 人妻无码αv中文字幕久久琪琪布| 无码乱人伦一区二区亚洲一 | 无码人妻少妇色欲AV一区二区|