The invention discloses a data processing method and apparatus, information processing system, the data processing method used in the cluster, the cluster includes a plurality of nodes, including: receiving the data processing request, the data processing the first data object to be processed including request; the first data object stored in the the cluster database, the message generation task, task message carries associated with the first data object associated with the task task ID; issued a message to multiple nodes in the cluster, so that the node according to the task of identifying the first extracted data objects from the database processing. This paper not only implements asynchronous data processing, but also avoid the use of the new thread pool and thread queue, reduces the complexity, improve processing efficiency, but also optimize the clear data processing, and can make full use of idle resources of nodes in the cluster, avoid the waste of resources.
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種數(shù)據(jù)處理方法及裝置、資訊處理系統(tǒng)
本申請(qǐng)涉及網(wǎng)絡(luò)
,尤指一種數(shù)據(jù)處理方法及裝置、資訊處理系統(tǒng)。
技術(shù)介紹
網(wǎng)絡(luò)中,資訊處理系統(tǒng)之間業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)交互傳遞一般采用異步交互方式。相關(guān)技術(shù)中,資訊處理系統(tǒng)與外部系統(tǒng)異步交互的過程是,當(dāng)前節(jié)點(diǎn)的應(yīng)用系統(tǒng)層接收業(yè)務(wù)請(qǐng)求,將請(qǐng)求處理的業(yè)務(wù)數(shù)據(jù)投入到當(dāng)前節(jié)點(diǎn)上操作系統(tǒng)層已有的線程池或操作系統(tǒng)層新起的線程上,由操作系統(tǒng)層的線程池或新起的線程對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理,雖然實(shí)現(xiàn)了異步處理,但需要管理線程池的資源和運(yùn)行調(diào)度,或?qū)χ骶€程外的新線程進(jìn)行管理,系統(tǒng)復(fù)雜度高,處理效率低,且不能有效利用資訊處理系統(tǒng)中的其他節(jié)點(diǎn)資源,發(fā)生問題時(shí)還需要人工排查,系統(tǒng)維護(hù)成本也比較高。綜上,在實(shí)現(xiàn)本申請(qǐng)的過程中,專利技術(shù)人發(fā)現(xiàn),對(duì)于業(yè)務(wù)處理的異步交互中系統(tǒng)復(fù)雜度高、不能有效利用其他節(jié)點(diǎn)資源以及系統(tǒng)維護(hù)成本高的問題,目前還沒有好的解決方案。
技術(shù)實(shí)現(xiàn)思路
為了解決上述技術(shù)問題,本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法及裝置、資訊處理系統(tǒng)。一方面,本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法,應(yīng)用于集群,所述集群包括多個(gè)節(jié)點(diǎn),包括:接收數(shù)據(jù)處理請(qǐng)求,所述數(shù)據(jù)處理請(qǐng)求中包括待處理的第一數(shù)據(jù)對(duì)象;將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中,生成任務(wù)消息,所述任務(wù)消息中攜帶有與所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí);向所述集群中的多個(gè)節(jié)點(diǎn)發(fā)布所述任務(wù)消息,以便所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí)從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象進(jìn)行處理。其中,在將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中之前,還包括:為所述第一數(shù)據(jù)對(duì)象設(shè)置第一狀態(tài)標(biāo)識(shí),所述第一狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為待處理的狀態(tài);在所述節(jié) ...
【技術(shù)保護(hù)點(diǎn)】
一種數(shù)據(jù)處理方法,其特征在于,應(yīng)用于集群,所述集群包括多個(gè)節(jié)點(diǎn),包括:接收數(shù)據(jù)處理請(qǐng)求,所述數(shù)據(jù)處理請(qǐng)求中包括待處理的第一數(shù)據(jù)對(duì)象;將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中,生成任務(wù)消息,所述任務(wù)消息中攜帶有與所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí);向所述集群中的多個(gè)節(jié)點(diǎn)發(fā)布所述任務(wù)消息,以便所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí)從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象進(jìn)行處理。
【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法,其特征在于,應(yīng)用于集群,所述集群包括多個(gè)節(jié)點(diǎn),包括:接收數(shù)據(jù)處理請(qǐng)求,所述數(shù)據(jù)處理請(qǐng)求中包括待處理的第一數(shù)據(jù)對(duì)象;將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中,生成任務(wù)消息,所述任務(wù)消息中攜帶有與所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí);向所述集群中的多個(gè)節(jié)點(diǎn)發(fā)布所述任務(wù)消息,以便所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí)從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象進(jìn)行處理。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,在將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中之前,還包括:為所述第一數(shù)據(jù)對(duì)象設(shè)置第一狀態(tài)標(biāo)識(shí),所述第一狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為待處理的狀態(tài);在所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí)從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象之后,還包括:為所述第一數(shù)據(jù)對(duì)象設(shè)置第二狀態(tài)標(biāo)識(shí),所述第二狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為處理中的狀態(tài)。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,在將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中,生成任務(wù)消息之后,還包括:發(fā)送第一響應(yīng)消息給所述第一數(shù)據(jù)對(duì)象的請(qǐng)求方,所述第一響應(yīng)消息用于指示所述第一數(shù)據(jù)對(duì)象已收到。4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法,其特征在于,在接收所述數(shù)據(jù)處理請(qǐng)求之后,生成任務(wù)消息之前,還包括:驗(yàn)證所述數(shù)據(jù)庫(kù)中是否已存儲(chǔ)有所述數(shù)據(jù)處理請(qǐng)求中待處理的第一數(shù)據(jù)對(duì)象;如果是,則從所述數(shù)據(jù)庫(kù)中查詢所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí),根據(jù)所述任務(wù)標(biāo)識(shí)提取所述第一數(shù)據(jù)對(duì)象,為所述第一數(shù)據(jù)對(duì)象設(shè)置第二狀態(tài)標(biāo)識(shí),所述第二狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為處理中的狀態(tài),并對(duì)所述第一數(shù)據(jù)對(duì)象進(jìn)行處理;如果不是,則創(chuàng)建任務(wù)流水,將所述任務(wù)流水的任務(wù)標(biāo)識(shí)與所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)后存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中。5.一種數(shù)據(jù)處理方法,其特征在于,應(yīng)用于集群,所述集群包括多個(gè)節(jié)點(diǎn);包括:所述節(jié)點(diǎn)接收任務(wù)消息,所述任務(wù)消息攜帶有與待處理的第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí);所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí),從所述集群的數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象并進(jìn)行處理。6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法,其特征在于,從數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象之后,所述進(jìn)行處理之前,還包括:所述節(jié)點(diǎn)為所述第一數(shù)據(jù)對(duì)象設(shè)置第二狀態(tài)標(biāo)識(shí),所述第二狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為處理中的狀態(tài)。7.根據(jù)權(quán)利要求5或6所述的數(shù)據(jù)處理方法,其特征在于,從所述集群的數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象,包括:在確定所述第一數(shù)據(jù)對(duì)象被設(shè)置為第二狀態(tài)標(biāo)識(shí)時(shí),從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象。8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法,其特征在于,從數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象并進(jìn)行處理之后,還包括:所述節(jié)點(diǎn)為所述第一數(shù)據(jù)對(duì)象設(shè)置第四狀態(tài)標(biāo)識(shí)或第五狀態(tài)標(biāo)識(shí),所述第四狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為處理失敗的狀態(tài),所述第五狀態(tài)標(biāo)識(shí)用于標(biāo)識(shí)所述第一數(shù)據(jù)對(duì)象為處理成功的狀態(tài)。9.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法,其特征在于,從數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象并進(jìn)行處理之后,還包括:所述節(jié)點(diǎn)將處理完成的所述第一數(shù)據(jù)對(duì)象保存到所述集群的數(shù)據(jù)庫(kù)中。10.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法,其特征在于,從數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象并進(jìn)行處理之后,還包括:所述節(jié)點(diǎn)將處理完成的所述第一數(shù)據(jù)對(duì)象保存到所述集群外的數(shù)據(jù)庫(kù)中,以供展示時(shí)使用。11.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法,其特征在于,從數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象并進(jìn)行處理之后,還包括:發(fā)送第二響應(yīng)消息給所述第一數(shù)據(jù)對(duì)象的請(qǐng)求方,所述第二響應(yīng)消息用于指示所述第一數(shù)據(jù)對(duì)象已處理完成。12.一種數(shù)據(jù)處理裝置,其特征在于,應(yīng)用于集群,所述集群包括多個(gè)節(jié)點(diǎn);包括:第一接收單元,用于接收數(shù)據(jù)處理請(qǐng)求,所述數(shù)據(jù)處理請(qǐng)求中包括待處理的第一數(shù)據(jù)對(duì)象;第一處理單元,用于將所述第一數(shù)據(jù)對(duì)象存儲(chǔ)到所述集群的數(shù)據(jù)庫(kù)中,生成任務(wù)消息,所述任務(wù)消息中攜帶有與所述第一數(shù)據(jù)對(duì)象相關(guān)聯(lián)的任務(wù)標(biāo)識(shí);發(fā)布單元,用于向所述集群中的多個(gè)節(jié)點(diǎn)發(fā)布所述任務(wù)消息,以便所述節(jié)點(diǎn)根據(jù)所述任務(wù)標(biāo)識(shí)從所述數(shù)據(jù)庫(kù)中提取所述第一數(shù)據(jù)對(duì)象進(jìn)行處理。13.根據(jù)權(quán)利要求12所述的數(shù)據(jù)處理裝置,其特征在于,所述第一處理單元,還...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員:韓濤,袁自誠(chéng),
申請(qǐng)(專利權(quán))人:阿里巴巴集團(tuán)控股有限公司,
類型:發(fā)明
國(guó)別省市:開曼群島,KY
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。