一種基于實測帶寬的多智能體互聯網數據采集任務分配方法組成比例

本發明專利技術公開了一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，假定在環境中存在L個目標任務T

【技術實現步驟摘要】
一種基于實測帶寬的多智能體互聯網數據采集任務分配方法
本專利技術涉及數據采集領域，尤其涉及一種基于實測帶寬的多智能體互聯網數據采集任務分配方法。
技術介紹
為滿足海量數據爬取的需求，現代爬蟲系統一般采用大規模分布式架構。在這種架構中，如何高效配置多個數據采集節點的資源成為提升爬蟲系統性能的關鍵問題。傳統的分布式爬蟲系統一般采用隨機任務調度的機制或類似機制。這種機制的問題在于沒有考慮爬取目標的地理位置差異，以及多個采集節點在采集、存儲方面的帶寬差異因素，更沒有運用相應的帶寬測試方法，因此無法做到資源的最優配置，從而影響了分布式爬蟲系統的數據采集性能。
技術實現思路
本專利技術為克服上述不足之處，設計了一種基于實測帶寬的任務分配方法，該方法用于將多個采集任務分配給多個采集節點，根據每個采集節點的狀態信息、實測帶寬情況以及待分配任務的信息，經過算法處理后得出任務分配結果。本專利技術的目的是通過以下技術方案來實現的：一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，具體為：假定在環境中存在L個目標任務T1，T2，…,TL和K個智能體節點A1,A2,…,AK，若K>L，則執行單任務分配算法；否則執行多任務分配算法；所述的單任務分配算法步驟如下：(1)針對每個智能體節點Ai與任務Tj，計算區域判決指標cij＝(任務數+1)/(BC+BS)，找出區域判決指標計算結果最小的節點。BC表示任務的目標區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數)/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應BC字段。BS表示存儲區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標準100KB文件存入存儲區域三次，通過(存取位數)/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應BS字段。(2)將待分配的任務分配給步驟(1)計算得到的節點。所述的多任務分配算法步驟如下：(1)在所有任務中每次分配K項，直到剩余任務數小于K。剩余任務可以在任務數增加后再行分配，也可以以單任務方式分配；(2)已知智能體Ai(i＝1,2,…,K)完成目標任務Tj(j＝1,2,…,K)的代價矩陣為C＝(cij)(i,j＝1,2,…,K)，其中cij的計算方法與單任務時相同；(3)將(cij)的每行元素都減去該行的最小元素，再將所得新系數矩陣的每列元素中減去該列的最小元素，獲得等價代價矩陣C’＝(c'ij)；(4)作最少的直線覆蓋所有0元素，通過找0元素進行試分配。方法是：先找有沒有可以覆蓋K個元素的直線(行或列)，若有則作該直線，若沒有則再找有沒有可以覆蓋K-1個元素的直線并作該直線，依此方法進行下去，直到所有0元素被覆蓋。若這樣能找出不同行不同列的K個0元素(稱為獨立0元素)，轉步驟(6)，否則轉步驟(5)；(5)調整代價矩陣C’，在未被直線穿過的數集中，找出最小的數z，讓該數集對應的所有行中的所有數減去z，而讓所有被直線穿過的列中的數加上z，以保證系數矩陣中不出現負元素，得到新系數矩陣。新系數矩陣的最優解和原問題相同，此時去掉直線，用新系數矩陣代替C’，返回步驟(3)；(6)以這K個獨立0元素對應解矩陣(c’ij)中的元素為1，其余為0，得到最優解矩陣(c”ij)，即此時矩陣元素中c”ij＝1所代表的結果是智能體i被分配了任務j(i,j＝1,2,…,K)。本專利技術的有益效果在于：本專利技術在實測帶寬基礎上，在眾多潛在的匹配方案中尋找一個總體(指采集效用和帶寬消耗之綜合)優化的任務分配方案，它在數學形式上表現為在離散的、有限的數據結構上，尋找一個滿足給定約束條件并使目標代價最小的解，從而可以大幅提高分布式爬蟲系統的爬取效率。附圖說明圖1是本專利技術的整體流程圖；圖2是本專利技術的單任務分配算法流程圖；圖3是本專利技術的多任務分配算法流程圖；圖4是本專利技術的多任務分配算法案例。具體實施方式下面結合附圖和具體實施例對本專利技術進行進一步描述，但本專利技術的保護范圍并不僅限于此。如圖1所示，本專利技術提供的一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，具體為：假定在環境中存在L個目標任務T1，T2，…,TL和K個智能體節點A1,A2,…,AK，若K>L，則執行單任務分配算法；否則執行多任務分配算法；所述的單任務分配算法步驟如下：(1)針對每個智能體節點Ai與任務Tj，計算區域判決指標cij＝(任務數+1)/(BC+BS)，找出區域判決指標計算結果最小的節點。BC表示任務的目標區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數)/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應BC字段。BS表示存儲區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標準100KB文件存入存儲區域三次，通過(存取位數)/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應BS字段。(2)將待分配的任務分配給步驟(1)計算得到的節點。所述的多任務分配算法步驟如下：(1)在所有任務中每次分配K項，直到剩余任務數小于K。剩余任務可以在任務數增加后再行分配，也可以以單任務方式分配；(2)已知智能體Ai(i＝1,2,…,K)完成目標任務Tj(j＝1,2,…,K)的代價矩陣為C＝(cij)(i,j＝1,2,…,K)，其中cij的計算方法與單任務時相同；(3)將(cij)的每行元素都減去該行的最小元素，再將所得新系數矩陣的每列元素中減去該列的最小元素，獲得等價代價矩陣C’＝(c’ij)；(4)作最少的直線覆蓋所有0元素，通過找0元素進行試分配。方法是：先找有沒有可以覆蓋K個元素的直線(行或列)，若有則作該直線，若沒有則再找有沒有可以覆蓋K-1個元素的直線并作該直線，依此方法進行下去，直到所有0元素被覆蓋。若這樣能找出不同行不同列的K個0元素，轉步驟(6)，否則轉步驟(5)；(5)調整代價矩陣C'，在未被直線穿過的數集中，找出最小的數z，讓該數集對應的所有行中的所有數減去z，而讓所有被直線穿過的列中的數加上z，以保證系數矩陣中不出現負元素，得到新系數矩陣。新系數矩陣的最優解和原問題相同，此時去掉直線，用新系數矩陣代替C’，返回步驟(3)；(6)以這K個獨立0元素對應解矩陣(c’ij)中的元素為1，其余為0，得到最優解矩陣(c”ij)，即此時矩陣元素中c”ij＝1所代表的結果是智能體i被分配了任務j(i,j＝1,2,…,K)，最低總耗費是C’中使所有＝1的位置上各元素之和。實施例1：本實施例中，在環境中存在1個目標任務T1和6個智能體節點A1,A2,…,A6；因為K＝6>L＝1，所以執行單任務分配算法；單任務分配算法步驟如下：(1)針對每個節點，計算(節點上已有任務數+1)/(BC+BS)(單位：1/Mbps)，找出計算結果最小的節點。例如六個節點對應的數值依次為：30，30，20，40，10，30，則結果最小的節點是第五個節點。(2)將待分配的任務分配給步驟(1)計算得到的節點，也就是第五個節點。實施例2：本實施例中，在環境中存在5個目標任務T1，T2，…,T5，4個智能體節點A1,A2,A3,A4；因為K本文檔來自技高網...

【技術保護點】
一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，其特征在于：假定在環境中存在L個目標任務T

【技術特征摘要】
1.一種基于實測帶寬的多智能體互聯網數據采集任務分配方法，其特征在于：假定在環境中存在L個目標任務T1，T2，…,TL和K個智能體節點A1,A2,…,AK，若K>L，則執行單任務分配算法；否則執行多任務分配算法；所述的單任務分配算法步驟如下：(1)針對每個智能體節點Ai與任務Tj，計算區域判決指標cij＝(任務數+1)/(BC+BS)，找出區域判決指標計算結果最小的節點。BC表示任務的目標區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行從該種子頁面爬取根頁面三次，通過(爬取位數)/(爬取所消耗的時間)獲取爬行帶寬，存入種子庫中相應BC字段。BS表示存儲區域與智能體所在區域的匹配度，計算方法如下：由智能體在建立種子信息表時先行將一個標準100KB文件存入存儲區域三次，通過(存取位數)/(存取所消耗的時間)獲取存儲帶寬，存入種子庫中相應BS字段。(2)將待分配的任務分配給步驟(1)計算得到的節點。所述的多任務分配算法步驟如下：(1)在所有任務中每次分配K項，直到剩余任務數小于K。剩余任務可以在任務數增加后再行分配，也可以以單任務方式分配；(2)已知智能體Ai(i＝1,2,…,...

【專利技術屬性】
技術研發人員：沈頌，
申請(專利權)人：浙江工商大學，
類型：發明
國別省市：浙江,33