計算機設備中的數據處理方法和系統技術方案

本發明專利技術提供了一種計算機設備中的數據處理方法和系統，計算機設備中存儲了多條數據，該數據包括第一類和第二類數據，第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，該數據處理方法包括：由第一類數據生成多個原始文件，由第二類數據生成多個中間文件，將中間文件合并到原始文件中，以每個合并后的文件中單條數據為單位，將合并后的文件拆分成多個子文件，以及將子文件整合成結果文件。通過本發明專利技術，可以借助于文件操作對具有相同數據項的數據進行關聯并且對數據進行分類，解決了數據冗余和數據處理效率低下的問題。

【技術實現步驟摘要】

本專利技術涉及計算機應用技術，尤其涉及一種計算機設備中的數據處理方法和系統。
技術介紹
銀行在進行業務處理的過程中，可能產生大量的數據，這些數據一般為存儲在計算機設備的數據庫中的數據，比如用戶信息、賬戶信息、賬戶交易信息等等，每條數據均具有多個數據項。例如，賬戶信息可以包括多條賬戶數據，每條賬戶數據均具有賬號、賬戶所在地、賬戶類型等數據項。用于處理銀行業務的系統對這些數據進行處理，在實際操作中，需要這樣的系統能夠處理多種業務需求，這些業務需求包括生成數據的報表、在與外圍設備(比如銀行工作人員的計算機設備、用戶自助服務設備等等)進行數據同步期間進行數據采集和數據加工等等。通常這些數據分成多類，不同類別的數據之間通過一個數據項相關聯，即相關聯的兩類數據具有某個相同的數據項。術語“數據庫”是一種形象化的描述，數據實際上是存儲在存儲介質中的。典型地，為了使用于處理銀行核心業務的系統能夠應對上述業務需求，利用結構化查詢語言(SQL, Structured Query Language)對數據庫進行查詢。然而,這種典型的數據處理方法存在一定的局限性首先，多類數據通過數據項相關聯，當對某一類數據進行查詢時，通常先將與這類數據相關聯的所有其他類數據都查找出來，然后，在所有查詢出來的各類數據的基礎上查找出需要的數據，這樣，對于本次業務處理不需要用到的其他類數據也進行了操作，因此，造成了大量的數據冗余；其次，在實際操作中經常對包含大量(特別是上億條)數據進行上述關聯，因此，造成數據處理效率非常低下，數據處理時間隨著數據量的增長呈現出幾何級的增長。在實際的銀行業務操作中，為了保證與外圍設備的數據同步等目的，必須要解決上述數據冗余和數據處理效率低下的問題。
技術實現思路
為了解決上述技術問題，本專利技術提供了一種計算機設備中的數據處理方法和系統。下面將對本專利技術的技術方案進行詳細描述。本專利技術提供了一種計算機設備中的數據處理方法，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其中，所述數據處理方法包括由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及將具有相同的所述拆分項的所述子文件分別整合成結果文件。本專利技術同時提供了一種計算機設備中的數據處理系統，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其中，所述數據處理系統包括卸載模塊、預處理模塊、拼接模塊、拆分模塊和整合模塊，其中，所述卸載模塊用于由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；所述預處理模塊用于由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；所述拼接模塊用于將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；所述拆分模塊用于以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及所述整合模塊用于將具有相同的所述拆分項的所述子文件分別整合成結果文件。使用本專利技術的方法和系統，可以借助于文件操作對具有同數據項的數據進行關聯并且對數據進行分類。因此，解決了數據冗余和數據處理效率低下的問題。附圖說明圖1是示出了本專利技術數據處理方法的流程圖；圖2是示出了本專利技術數據處理方法的實施例的示意圖；圖3是示出了本專利技術數據處理方法另一實施例的示意圖；以及圖4是示出了本專利技術數據處理系統的結構的示意圖。具體實施例方式下面結合附圖和具體實施例對本專利技術作進一步詳細描述，但不作為對本專利技術的限定。計算機設備包括數據庫，可以將銀行業務的操作中用到的數據存儲在數據庫中，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，第一類數據為待處理的原始采集數據，第一類數據包括第一數據項，第二類數據為用于對第一類數據進行處理的數據，第二類數據中包括第一數據項。例如，數據庫中包括賬戶數據和客戶數據兩類數據，賬戶數據中每條數據均包括賬號、賬戶所在地和賬號類型三種數據項，客戶數據中每條數據均包括客戶姓名、賬號、客戶類型三種數據項；賬戶數據和客戶數據都具有賬號數據項，也就是說這兩類數據通過賬號數據項相關聯。上述對數據分類存放是為了避免將所有數據都存儲在一起從而導致處理效率低下。圖1是示出了本專利技術數據處理方法的流程圖，如圖1所示，所述數據處理方法包括如下步驟步驟101，由所述第一類數據生成多個原始文件；待處理的原始采集數據為第一類數據，第一類數據包括第一數據項，第二類數據為用于對第一類數據進行處理的數據，第二類數據中包括第一數據項。將部分存儲介質劃分成占用不同物理地址的多個數據區，將第一類數據按照不同的子類別分別存儲到各個數據區中，為每個數據區中存儲的第一類數據均生成一個原始文件；以數據的一個或多個數據項或者某些時間點為基準來將數據分成子類。此外，在步驟101之前，可以清除計算機設備中存儲的歷史信息，例如，刪除上次生成的數據區、數據文件或其他相關文件；可以根據分區參數動態生成轉存語句，然后計算機設備調用轉存語句以便生成原始文件。特別地，所生成的原始文件的個數可能會達到上百個，這里，原始文件的個數可以由用于將數據分成子類的數據項或時間點來確定；步驟102，由所述第二類數據生成多個中間文件；該步驟可通過兩種方式來實現。在一種方式中，將部分存儲介質劃分成占用不同物理地址的多個數據區；將第二類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區中存儲的第二類數據均生成一個中間文件；或者，在除了第一類數據和第二類數據以外的數據中還包括第三類數據，第二類數據包括第二數據項，第三類數據為用于對第二類數據進行處理的數據，第三類數據中包括第二數據項，則可采用第二種方式來由第二類數據生成中間文件將部分存儲介質劃分成占用不同物理地址的多個數據區；將第二類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區均生成一個第一臨時文件；將部分存儲介質劃分成占用不同物理地址的多個數據區；將第三類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區均生成一個第二臨本文檔來自技高網...

【技術保護點】
一種計算機設備中的數據處理方法，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其特征在于，所述數據處理方法包括：由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及將具有相同的所述拆分項的所述子文件分別整合成結果文件。

【技術特征摘要】
1.一種計算機設備中的數據處理方法，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其特征在于，所述數據處理方法包括 由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據； 由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據； 將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成； 以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及 將具有相同的所述拆分項的所述子文件分別整合成結果文件。2.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，由所述第一類數據生成多個原始文件具體包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第一類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第一類數據均生成一個原始文件。3.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，由所述第二類數據生成多個中間文件包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第二類數據均生成一個中間文件。4.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，在除了所述第一類數據和所述第二類數據以外的數據中還包括第三類數據，所述第二類數據包括第二數據項，所述第三類數據為用于對所述第二類數據進行處理的數據，所述第三類數據中包括所述第二數據項，由所述第二類數據生成多個中間文件包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第一臨時文件； 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第三類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第二臨時文件；以及 對于所述第一臨時文件中的每條數據，均從所述第二臨時文件中查找出一條數據，使得這兩條數據具有相同的所述第二數據項，并且將查找出的這條數據中的除了所述第二數據項以外的全部數據項合并到所述第一臨時文件中對應的那條數據中以得到一個所述中間文件。5.根據權利要求1所述的數據處理方法，其特征在于，將所述中間文件合并到所述原始文件中包括對于所述原始文件中的每條數據，均從所述中間文件中查找出一條數據，使得這兩條數據具有相同的所述第一數據項，并且將查找出的這條數據中的除了所述第一數據項以外的全部數據項合并到所述原始文件中對應的那條數據中以得到一個合并后的文件。6.一種計算機設備中的數據處理系統，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數...

【專利技術屬性】
技術研發人員：彭豐華，韓玉忠，夏理，劉永鋼，周凌，盧超，尹杰，劉靜華，楊濤，劉芳，蔡震，黃鴻濱，
申請(專利權)人：中國銀行股份有限公司，
類型：發明
國別省市：