本發明專利技術涉及一種數據分配方法和裝置。所述方法包括：S1、獲取需要分析的多個數據；S2、依據數據分析需求確定用于劃分所述需要分析的多個數據的字段；S3、針對每個數據，將步驟S2中確定出的字段對應的值與預先確定的計算結點的個數執行取模運算；S4、將所述需要分析的多個數據中取模運算后的值相同的數據分入同一計算結點。本發明專利技術通過簡單易實現的取模算法將獲取的多個數據分配到對應的終端或對應的線程進行處理，能夠盡量的做到各個子任務所占數據的份額大致相同，使數據分配得更均衡，充分利用了數據處理終端的多核多線程計算能力，從而使得不同終端或不同線程分析處理數據的時間更接近，達到總的計算時間最少。
【技術實現步驟摘要】
本專利技術涉及數據分析，更具體地說，涉及一種數據分配方法和裝置。
技術介紹
在需要同時分析大量的數據時，通常使用分布式的計算方式，將大量的數據劃分成一份份小數據之后再分別在不同的數據處理終端上并行分析，或者在同一個數據處理終端的不同處理器上并行分析。這些數據處理終端或者數據處理終端上的線程被定義為計算結點。 以移動運營商分析用戶的話單數據為例，為了快速分析指定時間段的話單數據，移動運營商通常將話單數據按照應用的需要分配給不同的計算終端同時進行，這涉及到對數據分析任務的劃分，劃分后的各個子任務之間應相互獨立，所占數據的份額應大致相同，以便充分利用計算終端的多核多線程計算能力，同時劃分后的各個子任務還應做到完成時間的均衡，以使總的計算時間最少。比如說有兩個應用一個是統計每個用戶在不同的扇區下通話的次數，一個是統計每個扇區下不同用戶通話的次數，前者需要按照用戶(通常是用戶的手機號碼)，后者需要按照小區(通常是小區的編號)對話單數據進行劃分，這樣才能夠使劃分的任務獨立互不影響。按照上述方法確定了數據劃分的字段(如用戶的手機號碼、小區的編號)后，還需要確定需劃分的子任務的個數，以及保證子任務所占數據的份額大致相同。常用的方法是按照上述字段數值可能在的范圍區間進行劃分，而這需要人工或者自動地對歷史數據進行分析，統計上述字段的數值落在各個范圍區間內的數量。由于需劃分的子任務的個數是已知的，按照各個范圍區間內數據的數量均衡的原則，可以反過來確定劃分范圍區間。這種根據歷史數據的統計情況進行細微的范圍區間劃分的方法，能夠部分解決分布式計算中子任務劃分的問題，但是這種方法由于存在以下缺陷而使其應用受到限制(I)用來劃分的字段的數值需要是一個或者多個連續范圍內的數值；(2)如果有新的、不在原來的范圍內的數據加入，通常不能處理；(3)算法繁瑣復雜，不易實現自動化，如進行自動處理的話需要進行大量的統計計笪ο
技術實現思路
本專利技術要解決的技術問題在于，針對現有技術的上述缺陷，提供一種能夠使數據分配得更均勻以充分利用分布式計算終端的計算能力、且實現算法簡單的數據分配方法和>J-U ρ α裝直。本專利技術解決其技術問題所采用的技術方案是提出一種數據分配方法，包括如下步驟SI、獲取需要分析的多個數據；S2、依據數據分析需求確定用于劃分所述需要分析的多個數據的字段；S3、針對每個數據，將步驟S2中確定出的字段對應的值與預先確定的計算結點的個數執行取模運算；S4、將所述需要分析的多個數據中取模運算后的值相同的數據分入同一計算結點。一個實施例中，所述步驟SI進一步包括將獲取到的所述需要分析的多個數據處理成統一的格式。一個實施例中，所述步驟S3具體包括S31、確定所述字段的類型；S32、在所述字段為中文時，將該中文對應的國家標準代碼值與預先確定的計算結點的個數執行取模運算； S33、在所述字段為英文時，將該英文對應的ASCII碼值與預先確定的計算結點的個數執行取模運算；S34、在所述字段為數字時，將該數字對應的值與預先確定的計算結點的個數執行取模運算。一個實施例中,所述步驟S3具體包括選取所述字段對應的值的一部分值與預先確定的計算結點的個數執行取模運算。一個實施例中，所述計算結點為數據處理終端或數據處理終端上的線程。本專利技術為解決其技術問題還提出一種數據分配裝置，包括數據獲取模塊，用于獲取需要分析的多個數據；字段確定模塊，用于依據數據分析需求確定用于劃分所述需要分析的多個數據的字段；取模運算模塊，用于針對每個數據，將所述字段確定模塊確定出的字段對應的值與預先確定的計算結點的個數執行取模運算；數據分配模塊，用于將所述需要分析的多個數據中取模運算后的值相同的數據分入同一計算結點。一個實施例中，所述數據獲取模塊進一步將獲取到的所述需要分析的多個數據處理成統一的格式。 一個實施例中，所述取模運算模塊具體包括字段類型確定子模塊，用于確定所述字段的類型；中文取模運算子模塊，用于在所述字段為中文時，將該中文對應的國家標準代碼值與預先確定的計算結點的個數執行取模運算；英文取模運算子模塊，用于在所述字段為英文時，將該英文對應的ASCII碼值與預先確定的計算結點的個數執行取模運算；數字取模運算子模塊，用于在所述字段為數字時，將該數字對應的值與預先確定的計算結點的個數執行取模運算。一個實施例中，所述取模運算模塊進一步選取所述字段對應的值的一部分值與預先確定的計算結點的個數執行取模運算。—個實施例中，所述計算結點為數據處理終端或數據處理終端上的線程。本專利技術的數據分配方法和裝置通過簡單易實現的取模算法將獲取的多個數據分配到對應的終端或對應的線程進行處理，能夠盡量的做到各個子任務所占數據的份額大致相同，使數據分配得更均衡，充分利用了數據處理終端的多核多線程計算能力，從而使得不同終端或不同線程分析處理數據的時間更接近，達到總的計算時間最少。附圖說明下面將結合附圖及實施例對本專利技術作進一步說明，附圖中圖I是本專利技術一個實施例的數據分配方法的流程圖；圖2是圖I中步驟130的一具體實施例的流程圖；圖3是本專利技術一個實施例的數據分配裝置的邏輯結構示意圖；圖4是圖3中取模運算模塊的一具體實施例的邏輯結構示意圖。 具體實施例方式為了使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本專利技術，并不用于限定本專利技術。本專利技術提出一種數據分配方法和裝置，將用于劃分需要分析的多個數據的字段與用于分析數據的計算結點的個數執行取模運算，并將取模運算后的值相同的數據分入同一計算結點，能夠盡量的做到各個計算結點上子任務所占數據的份額大致相同，使數據分配得更均衡，充分利用了數據處理終端的多核多線程計算能力，從而使得不同終端或不同線程分析處理數據的時間更接近，達到總的計算時間最少。圖I示出了本專利技術一個實施例的數據分配方法100的流程圖。如圖I所示，該數據分配方法100包括步驟110，獲取需要分析的多個數據。該步驟中，需要分析的數據可以是任意范圍內的數據，包括中文、英文、數字中的至少一種，例如，需要分析的數據為數字類型時，該數字類型可以為用戶的手機號碼等。獲取的方式可以是定時或實時從存儲有數據的文件中獲取。一個實施例中，當獲取的需要分析的多個數據格式不同時，步驟110還包括將獲取到的需要分析的多個數據處理成統一的格式，以便后續能夠更快速地對同一格式的數據進行處理。步驟120，依據數據分析需求確定用于劃分所述需要分析的多個數據的字段。該步驟中，以用戶的實際數據分析需求為依據，確定用于將需要分析的數據劃分至計算結點(不同終端或同一終端不同線程)的字段。比如說，在需要統計每個用戶在不同的扇區下通話的次數時，將每個用戶的標識(通常是該用戶的手機號碼)作為劃分數據的字段；在需要統計每個扇區下不同用戶通話的次數時，將小區標識(通常是小區的編號)作為劃分數據的字段。步驟130，針對每個數據，將步驟120中確定出的字段對應的值與預先確定的計算結點的個數執行取模運算。其中，取模運算是指求余運算，取模運算的結果是指對整數除以被除數后無法除盡的余數。例如，28對5取模后的運算結果為3。計算結點(不同終端或同一終端不同線程)的個數是預先已知的。例如本文檔來自技高網...
【技術保護點】
一種數據分配方法，其特征在于，包括如下步驟：S1、獲取需要分析的多個數據；S2、依據數據分析需求確定用于劃分所述需要分析的多個數據的字段；S3、針對每個數據，將步驟S2中確定出的字段對應的值與預先確定的計算結點的個數執行取模運算；S4、將所述需要分析的多個數據中取模運算后的值相同的數據分入同一計算結點。
【技術特征摘要】
【專利技術屬性】
技術研發人員：王立，祝林，
申請(專利權)人：深圳市網信聯動技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。