溫馨提示：您尚未登錄，請點 登陸 后下載，如果您還沒有賬戶請點 注冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。
本發(fā)明涉及一種網(wǎng)絡(luò)爬蟲的數(shù)據(jù)處理系統(tǒng)及方法，通過接收針對待爬取網(wǎng)頁URL的重復(fù)性校驗請求，以及待爬取網(wǎng)頁URL多個特征信息集合成的特征信息集；將所述待爬取網(wǎng)頁URL的每個特征信息輸入至校驗布隆過濾器，通過所有特征信息同時判斷URL的重復(fù)性，...該專利屬于順豐科技有限公司所有，僅供學(xué)習(xí)研究參考，未經(jīng)過順豐科技有限公司授權(quán)不得商用。