基于輕量級虛擬機(jī)的并行計算方法、裝置及系統(tǒng)制造方法及圖紙

本發(fā)明專利技術(shù)公開了基于輕量級虛擬機(jī)的并行計算方法、裝置及系統(tǒng)，方法包括：接收計算請求并將該計算請求放入任務(wù)隊(duì)列中；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；所述狀態(tài)信息包括可用于計算和不可用于計算；根據(jù)計算節(jié)點(diǎn)的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)，使所有可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。本發(fā)明專利技術(shù)的代碼可以重用，編程復(fù)雜度低，執(zhí)行效率高。

Parallel computing method, device and system based on lightweight virtual machine

The invention discloses a method, device and system, parallel lightweight virtual machine based on the method includes: receiving a request and calculation the calculation request into the task queue; at least one calculation request containing the task queue, all the calculation task requests in a queue according to the order calculation request time in sequence; the calculation request including the calculation of data and code; according to the state information query query all computing nodes; the state includes information can be used to calculate and can be used to calculate; according to the state information computing node will send data to calculate and code can be used to calculate the node calculation, the lightweight virtual machine all nodes can be used to calculate the the corresponding operation code synchronization calculation. The code of the invention can be reused, has low programming complexity and high execution efficiency.

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于輕量級虛擬機(jī)的并行計算方法、裝置及系統(tǒng)
本專利技術(shù)涉及計算機(jī)領(lǐng)域，尤其涉及基于輕量級虛擬機(jī)的并行計算方法、裝置及系統(tǒng)。
技術(shù)介紹
21世紀(jì)是信息化的時代，由于傳感技術(shù)和通信網(wǎng)絡(luò)的發(fā)展、數(shù)據(jù)收集和存儲的規(guī)模在飛速增大，如何從海量數(shù)據(jù)中挖據(jù)出有效的信息是當(dāng)前的研究熱點(diǎn)。目前較為普遍的方案是采用集群系統(tǒng)和分布式框架來提高數(shù)據(jù)處理的效率。并行計算是提高計算機(jī)系統(tǒng)計算速度和處理能力的一種有效手段。并行計算或稱平行計算是相對于串行計算來說的。它是一種一次可執(zhí)行多個指令的算法，目的是提高計算速度，以及通過擴(kuò)大問題求解規(guī)模，解決大型而復(fù)雜的計算問題。所謂并行計算可分為時間上的并行和空間上的并行。時間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個處理器并發(fā)的執(zhí)行計算。并行計算是指同時使用多種計算資源解決計算問題的過程，是提高計算機(jī)系統(tǒng)計算速度和處理能力的一種有效手段。它的基本思想是用多個處理器來協(xié)同求解同一問題，即將被求解的問題分解為若干個部分，各部分均由一個獨(dú)立的處理機(jī)來并行計算。并行計算系統(tǒng)既可以是專門設(shè)計的、含有多個處理器的超級計算機(jī)，也可以是以某種方式互連的若干臺獨(dú)立計算機(jī)構(gòu)成的集群。MPI(信息傳遞接口)是目前開發(fā)并行應(yīng)用程序的主要編程模型，消息傳遞編程模型的事實(shí)標(biāo)準(zhǔn)。MPI存在的問題是，針對不同的并行算法，需要重寫數(shù)據(jù)分配、通信等細(xì)節(jié)，代碼重用率低，機(jī)器擴(kuò)展性能差，對編程人員的要求高，且優(yōu)化和調(diào)試成本高。MapReduce是谷歌提出的一種并行化編程框架，其通過簡單的編程模型，使得用戶從編寫底層程序中解放出來，只需將注意力放在上層應(yīng)用。然而用戶很難對復(fù)雜數(shù)據(jù)進(jìn)行處理，用于不得不編寫大量的MapReduce任務(wù)，往往導(dǎo)致執(zhí)行效率低下。尤其在迭代過程中，Map和Reduce會頻繁進(jìn)行序列化和反序列化操作，這些操作導(dǎo)致了較高的輸入和輸出開銷。
技術(shù)實(shí)現(xiàn)思路
為了克服現(xiàn)有技術(shù)的不足，本專利技術(shù)的目的之一在于提供基于輕量級虛擬機(jī)的并行計算方法，其能解決現(xiàn)有技術(shù)中執(zhí)行效率低、復(fù)雜度高的問題。本專利技術(shù)的目的之二在于提供基于輕量級虛擬機(jī)的并行計算裝置，其能解決本專利技術(shù)的目的之一。本專利技術(shù)的目的之三在于提供基于輕量級虛擬機(jī)的并行計算系統(tǒng)，其解決現(xiàn)有技術(shù)中執(zhí)行效率低、復(fù)雜度高的問題。本專利技術(shù)的目的之一采用以下技術(shù)方案實(shí)現(xiàn)：基于輕量級虛擬機(jī)的并行計算方法，包括如下步驟：S1：接收計算請求并將該計算請求放入任務(wù)隊(duì)列中，并向控制節(jié)點(diǎn)發(fā)送查詢請求；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；S2：根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；所述狀態(tài)信息包括可用于計算和不可用于計算；S3：根據(jù)計算節(jié)點(diǎn)的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)，使所有可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。優(yōu)選的，S1中，計算數(shù)據(jù)和代碼由用戶輸入。優(yōu)選的，S1中，根據(jù)任務(wù)隊(duì)列中排在首位的計算請求向控制節(jié)點(diǎn)發(fā)送查詢請求。優(yōu)選的，所述狀態(tài)信息還包括錯誤。優(yōu)選的，S3中，可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)運(yùn)行代碼進(jìn)行計算包括如下步驟：Sa：接收計算數(shù)據(jù)和代碼；Sb：從計算數(shù)據(jù)中提取并行算法以及所需計算的數(shù)據(jù)；Sc：判斷是否提取成功，若是，則根據(jù)并行算法編譯對應(yīng)的輕量級虛擬機(jī)，否則返回Sb；Sd：判斷是否編譯成功，若是，則使對應(yīng)的輕量級虛擬機(jī)進(jìn)行計算，并將計算結(jié)果返回至服務(wù)節(jié)點(diǎn)，否則，重新根據(jù)并行算法編譯輕量級虛擬機(jī)。本專利技術(shù)的目的之二采用以下技術(shù)方案實(shí)現(xiàn)：基于輕量級虛擬機(jī)的并行計算裝置，包括接收單元：用于接收計算請求并將該計算請求放入任務(wù)隊(duì)列中，并向控制節(jié)點(diǎn)發(fā)送查詢請求；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；查詢單元：用于根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；所述狀態(tài)信息包括可用于計算和不可用于計算；計算單元：用于根據(jù)計算節(jié)點(diǎn)的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)，使所有可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。優(yōu)選的，計算請求來自客戶端，且該客戶端中的計算數(shù)據(jù)和代碼由用戶輸入。優(yōu)選的，接收單元根據(jù)任務(wù)隊(duì)列中排在首位的計算請求向控制節(jié)點(diǎn)發(fā)送查詢請求。優(yōu)選的，所述狀態(tài)信息還包括錯誤。本專利技術(shù)的目的之三采用以下技術(shù)方案實(shí)現(xiàn)：基于輕量級虛擬機(jī)的并行計算系統(tǒng)，包括客戶端、控制管理器、數(shù)據(jù)庫、服務(wù)管理器、輕量級虛擬機(jī)，所述客戶端用于發(fā)送計算請求至服務(wù)管理器；所述計算請求包括計算數(shù)據(jù)和代碼；所述服務(wù)管理器用于將計算請求放入任務(wù)隊(duì)列中，并向控制管理器發(fā)送查詢請求，使控制管理器根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；服務(wù)管理器還根據(jù)來自控制管理器的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照服務(wù)管理器接收到計算請求的時間的先后順序依次排列；狀態(tài)信息包括可用于計算和不可用于計算；數(shù)據(jù)庫用于存儲控制管理器所查詢的計算節(jié)點(diǎn)的狀態(tài)信息；輕量級虛擬機(jī)應(yīng)用于計算節(jié)點(diǎn)中，計算節(jié)點(diǎn)用于接收來自服務(wù)管理器的計算請求，使對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。相比現(xiàn)有技術(shù)，本專利技術(shù)的有益效果在于：本專利技術(shù)的代碼可以重用，編程復(fù)雜度低，面對復(fù)雜的計算任務(wù)不用編寫大量MapReduce任務(wù)，并行計算代碼從客戶端傳送到計算節(jié)點(diǎn)，再編譯輕量級虛擬機(jī)，執(zhí)行效率高。附圖說明圖1為本專利技術(shù)的基于輕量級虛擬機(jī)的并行計算方法的流程圖。圖2為本專利技術(shù)的基于輕量級虛擬機(jī)的并行計算系統(tǒng)的結(jié)構(gòu)圖。具體實(shí)施方式下面，結(jié)合附圖以及具體實(shí)施方式，對本專利技術(shù)做進(jìn)一步描述：本專利技術(shù)提供一種基于輕量級虛擬機(jī)的并行計算方法，其中，本專利技術(shù)所指的輕量級虛擬機(jī)是指contiki系統(tǒng)編譯出來的輕量級虛擬機(jī)，contiki是采用c語言開發(fā)的非常小型的嵌入式操作系統(tǒng)，在編譯過程中可以在其中嵌入不同的代碼。輕量級虛擬機(jī)可以自動創(chuàng)建、復(fù)制、遷移、刪除、并根據(jù)嵌入代碼實(shí)現(xiàn)不同的功能。本專利技術(shù)將輕量級虛擬機(jī)應(yīng)用在計算節(jié)點(diǎn)，可以靈活處理復(fù)制的計算任務(wù)，不需要處理消息傳遞、代碼可以重用，編譯復(fù)雜度低，不同機(jī)器容易擴(kuò)展。面對復(fù)雜的計算任務(wù)時，不用編寫大量的MapReduce任務(wù)，并行計算代碼從客戶端傳送到計算節(jié)點(diǎn)，再編譯輕量級虛擬機(jī)，提高執(zhí)行效率。參見圖1所示，包括如下步驟：S1：接收計算請求并將該計算請求放入任務(wù)隊(duì)列中；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；本專利技術(shù)的并行計算是從客戶端開始，用戶在客戶端進(jìn)行并行算法編程，也就是輸入代碼，并且輸入計算數(shù)據(jù)，這里的代碼也就是輕量級虛擬機(jī)嵌入代碼。S1中的計算請求來自客戶端，并且計算請求中的計算數(shù)據(jù)可代碼由用戶輸入。根據(jù)客戶端發(fā)送計算請求的時間對所有來自客戶端的計算請求進(jìn)行先后排序，并加入到任務(wù)隊(duì)列中，也就是任務(wù)隊(duì)列中的所有計算請求都是按時間順序排列的。其中，計算請求中包含有客戶端發(fā)送該計算請求至服務(wù)節(jié)點(diǎn)的時間。在本步驟中，實(shí)際是發(fā)送關(guān)于任務(wù)隊(duì)列中排在首位的計算請求的查詢請求。S2：根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息，并將該狀態(tài)信息反本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
基于輕量級虛擬機(jī)的并行計算方法，其特征在于，包括如下步驟：S1：接收計算請求并將該計算請求放入任務(wù)隊(duì)列中；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；S2：根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；所述狀態(tài)信息包括可用于計算和不可用于計算；S3：根據(jù)計算節(jié)點(diǎn)的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)，使所有可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。

【技術(shù)特征摘要】
1.基于輕量級虛擬機(jī)的并行計算方法，其特征在于，包括如下步驟：S1：接收計算請求并將該計算請求放入任務(wù)隊(duì)列中；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數(shù)據(jù)和代碼；S2：根據(jù)查詢請求查詢所有計算節(jié)點(diǎn)的狀態(tài)信息；所述狀態(tài)信息包括可用于計算和不可用于計算；S3：根據(jù)計算節(jié)點(diǎn)的狀態(tài)信息將計算數(shù)據(jù)和代碼發(fā)送至可用于計算的計算節(jié)點(diǎn)，使所有可用于計算的計算節(jié)點(diǎn)對應(yīng)的輕量級虛擬機(jī)同步運(yùn)行代碼進(jìn)行計算。2.如權(quán)利要求1所述的并行計算方法，其特征在于，S1中，計算數(shù)據(jù)和代碼由用戶輸入。3.如權(quán)利要求1所述的并行計算方法，其特征在于，S1中，根據(jù)任務(wù)隊(duì)列中排在首位的計算請求向控制節(jié)點(diǎn)發(fā)送查詢請求。4.如權(quán)利要求1所述的并行計算方法，其特征在于，所述狀態(tài)信息還包括錯誤。5.如權(quán)利要求1所述的并行計算方法，其特征在于，S3中，可用于計算的計算節(jié)點(diǎn)運(yùn)行代碼進(jìn)行計算包括如下步驟：Sa：接收計算數(shù)據(jù)和代碼；Sb：從計算數(shù)據(jù)中提取并行算法以及所需計算的數(shù)據(jù)；Sc：判斷是否提取成功，若是，則根據(jù)并行算法編譯對應(yīng)的輕量級虛擬機(jī)，否則返回Sb；Sd：判斷是否編譯成功，若是，則使對應(yīng)的輕量級虛擬機(jī)進(jìn)行計算，并將計算結(jié)果返回至服務(wù)節(jié)點(diǎn)，否則，重新根據(jù)并行算法編譯輕量級虛擬機(jī)。6.基于輕量級虛擬機(jī)的并行計算裝置，其特征在于，包括接收單元：用于接收計算請求并將該計算請求放入任務(wù)隊(duì)列中，并向控制節(jié)點(diǎn)發(fā)送查詢請求；所述任務(wù)隊(duì)列中包含至少一個計算請求，該任務(wù)隊(duì)列中的所有計...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉一強(qiáng)，陸以勤，覃健誠，項(xiàng)來，
申請(專利權(quán))人：華南理工大學(xué)，
類型：發(fā)明
國別省市：廣東,44