數(shù)據(jù)處理方法、系統(tǒng)、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)技術(shù)方案

本公開(kāi)提供了一種數(shù)據(jù)處理方法，包括獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法，以及集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。本公開(kāi)的另一方面還提供了一種數(shù)據(jù)處理系統(tǒng)、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

Data processing method, system, electronic equipment and computer readable storage medium

【技術(shù)實(shí)現(xiàn)步驟摘要】
數(shù)據(jù)處理方法、系統(tǒng)、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
本公開(kāi)涉及計(jì)算機(jī)
，更具體地，涉及一種數(shù)據(jù)處理方法、系統(tǒng)、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
技術(shù)介紹
通過(guò)Hive等類SQL(StructuredQueryLanguage，結(jié)構(gòu)化查詢語(yǔ)言)技術(shù)，結(jié)合MapReduce大數(shù)據(jù)處理框架，再輔以任務(wù)調(diào)度系統(tǒng)及任務(wù)管理平臺(tái)，構(gòu)成了目前應(yīng)用最多的大數(shù)據(jù)處理系統(tǒng)。在數(shù)據(jù)處理中，通常需要編寫(xiě)具體的SQL代碼，經(jīng)過(guò)Hive編譯為MapReduce任務(wù)。在實(shí)現(xiàn)本公開(kāi)構(gòu)思的過(guò)程中，專利技術(shù)人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題：難以通過(guò)SQL語(yǔ)言描述一些比較復(fù)雜的數(shù)據(jù)處理任務(wù)。
技術(shù)實(shí)現(xiàn)思路
有鑒于此，本公開(kāi)提供了一種數(shù)據(jù)處理方法、系統(tǒng)、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本公開(kāi)的一個(gè)方面提供了一種數(shù)據(jù)處理方法，包括獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法，以及集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述方法還包括基于集成到所述分布式計(jì)算框架中的至少一個(gè)算法，獲取配置界面，所述配置界面用于接收配置操作，生成配置數(shù)據(jù)，其中，所述配置數(shù)據(jù)用于使所述分布式計(jì)算框架確定需要調(diào)用的算法，以處理所述待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述方法還包括根據(jù)所述配置數(shù)據(jù)指示的所述待處理數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，解析所述待處理數(shù)據(jù)，獲得第一解析數(shù)據(jù)，根據(jù)所述配置數(shù)據(jù)指示的求值方式，確定需要調(diào)用的算法，基于所述算法，處理所述第一解析數(shù)據(jù)，獲得處理數(shù)據(jù)，以及基于所述處理數(shù)據(jù)，生成目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述方法還包括在根據(jù)所述配置數(shù)據(jù)，確定所述待處理數(shù)據(jù)包括多個(gè)相關(guān)聯(lián)的表的情況下，根據(jù)所述配置數(shù)據(jù)指示的所述多個(gè)相關(guān)聯(lián)的表的關(guān)聯(lián)字段，基于所述第一解析結(jié)果，生成數(shù)據(jù)集合，所述基于所述算法，處理所述第一解析數(shù)據(jù)，獲得處理數(shù)據(jù)包括，基于所述算法處理所述數(shù)據(jù)集合，獲得處理數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述方法還包括根據(jù)所述配置數(shù)據(jù)中指示的過(guò)濾規(guī)則，對(duì)所述數(shù)據(jù)集合進(jìn)行過(guò)濾，所述基于所述算法處理所述數(shù)據(jù)集合，獲得處理數(shù)據(jù)包括基于所述算法處理過(guò)濾后的數(shù)據(jù)集合，獲得處理數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，在所述配置數(shù)據(jù)指示所述分布式計(jì)算框架執(zhí)行第一類型的計(jì)算的情況下，所述基于所述處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)包括，根據(jù)配置數(shù)據(jù)指示的目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，將所述處理數(shù)據(jù)，轉(zhuǎn)化為目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，在所述配置數(shù)據(jù)指示分布式計(jì)算框架執(zhí)行第二類型的計(jì)算的情況下，所述基于所述處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)還包括，解析所述處理數(shù)據(jù)，獲得第二解析數(shù)據(jù)，以及根據(jù)配置數(shù)據(jù)指示的任務(wù)類型，確定處理所述第二解析結(jié)果需要調(diào)用的計(jì)算方法，以基于所述計(jì)算方法，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述方法還包括存儲(chǔ)所述配置數(shù)據(jù)。本公開(kāi)的另一個(gè)方面提供了一種數(shù)據(jù)處理系統(tǒng)包括，獲得模塊用于獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法，以及集成模塊用于集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述系統(tǒng)還包括，獲取模塊用于基于集成到所述分布式計(jì)算框架中的至少一個(gè)算法，獲取配置界面，所述配置界面用于接收配置操作，生成配置數(shù)據(jù)，其中，所述配置數(shù)據(jù)用于使所述分布式計(jì)算框架確定需要調(diào)用的算法，以處理所述待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述系統(tǒng)還包括，第一解析模塊用于根據(jù)所述配置數(shù)據(jù)指示的所述待處理數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，解析所述待處理數(shù)據(jù)，獲得第一解析數(shù)據(jù)，第一確定模塊用于根據(jù)所述配置數(shù)據(jù)指示的求值方式，確定需要調(diào)用的算法，處理模塊用于基于所述算法，處理所述第一解析數(shù)據(jù)，獲得處理數(shù)據(jù)，以及第一生成模塊用于基于所述處理數(shù)據(jù)，生成目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述系統(tǒng)還包括，第二生成模塊用于在根據(jù)所述配置數(shù)據(jù)，確定所述待處理數(shù)據(jù)包括多個(gè)相關(guān)聯(lián)的表的情況下，根據(jù)所述配置數(shù)據(jù)指示的所述多個(gè)相關(guān)聯(lián)的表的關(guān)聯(lián)字段，基于所述第一解析結(jié)果，生成數(shù)據(jù)集合，所述處理模塊包括第一處理子模塊，用于基于所述算法處理所述數(shù)據(jù)集合，獲得處理數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述系統(tǒng)還包括，過(guò)濾模塊用于根據(jù)所述配置數(shù)據(jù)中指示的過(guò)濾規(guī)則，對(duì)所述數(shù)據(jù)集合進(jìn)行過(guò)濾，所述第一處理子模塊包括處理子單元，用于基于所述算法處理過(guò)濾后的數(shù)據(jù)集合，獲得處理數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，在所述配置數(shù)據(jù)指示所述分布式計(jì)算框架執(zhí)行第一類型的計(jì)算的情況下，所述處理模塊包括第二處理子模塊，用于根據(jù)配置數(shù)據(jù)指示的目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，將所述處理數(shù)據(jù)，轉(zhuǎn)化為目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，在所述配置數(shù)據(jù)指示分布式計(jì)算框架執(zhí)行第二類型的計(jì)算的情況下，所述處理模塊還包括，第二解析模塊用于解析所述處理數(shù)據(jù)，獲得第二解析數(shù)據(jù)，以及第二確定模塊用于根據(jù)配置數(shù)據(jù)指示的任務(wù)類型，確定處理所述第二解析結(jié)果需要調(diào)用的計(jì)算方法，以基于所述計(jì)算方法，獲得目標(biāo)數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，所述系統(tǒng)還包括，存儲(chǔ)模塊用于存儲(chǔ)所述配置數(shù)據(jù)。本公開(kāi)的另一個(gè)方面提供了一種電子設(shè)備，包括一個(gè)或多個(gè)處理器，存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器執(zhí)行上述任意一項(xiàng)的方法。本公開(kāi)的另一方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。本公開(kāi)的另一方面提供了一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。根據(jù)本公開(kāi)的實(shí)施例，可以至少部分地解決SQL語(yǔ)言難以完成比較復(fù)雜的數(shù)據(jù)處理任務(wù)的問(wèn)題，并因此可以實(shí)現(xiàn)方便處理比較復(fù)雜的數(shù)據(jù)處理任務(wù)的技術(shù)效果。附圖說(shuō)明通過(guò)以下參照附圖對(duì)本公開(kāi)實(shí)施例的描述，本公開(kāi)的上述以及其他目的、特征和優(yōu)點(diǎn)將更為清楚，在附圖中：圖1A示意性示出了根據(jù)本公開(kāi)實(shí)施例的可以應(yīng)用數(shù)據(jù)處理方法的示例性系統(tǒng)架構(gòu)；圖1B示意性示出了根據(jù)本公開(kāi)實(shí)施例的配置界面的示意圖；圖2示意性示出了根據(jù)本公開(kāi)實(shí)施例的數(shù)據(jù)處理方法的流程圖；圖3示意性示出了根據(jù)本公開(kāi)另一實(shí)施例的數(shù)據(jù)處理方法的流程圖；圖4示意性示出了根據(jù)本公開(kāi)另一實(shí)施例的數(shù)據(jù)處理方法的流程圖；圖5示意性示出了根據(jù)本公開(kāi)另一實(shí)施例的數(shù)據(jù)處理方法的流程圖；圖6示意性示出了根據(jù)本公開(kāi)的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；圖7示意性示出了根據(jù)本公開(kāi)的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；圖8示意性示出了根據(jù)本公開(kāi)的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；圖9示意性示出了根據(jù)本公開(kāi)另一實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；以及圖10示意性示出了根據(jù)本公開(kāi)實(shí)施例的適于實(shí)現(xiàn)上文描述的方法的電子設(shè)備的方框圖。具體實(shí)施方式以下，將參照附圖來(lái)描述本公開(kāi)的實(shí)施例。但是應(yīng)該理解本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)處理方法，包括：/n獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法；以及/n集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。/n

【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，包括：
獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法；以及
集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。


2.根據(jù)權(quán)利要求1所述的方法，還包括：
基于集成到所述分布式計(jì)算框架中的至少一個(gè)算法，獲取配置界面，所述配置界面用于接收配置操作，生成配置數(shù)據(jù)，其中，所述配置數(shù)據(jù)用于使所述分布式計(jì)算框架確定需要調(diào)用的算法，以處理所述待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)。


3.根據(jù)權(quán)利要求2所述的方法，還包括：
根據(jù)所述配置數(shù)據(jù)指示的所述待處理數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，解析所述待處理數(shù)據(jù)，獲得第一解析數(shù)據(jù)；
根據(jù)所述配置數(shù)據(jù)指示的求值方式，確定需要調(diào)用的算法；
基于所述算法，處理所述第一解析數(shù)據(jù)，獲得處理數(shù)據(jù)；以及
基于所述處理數(shù)據(jù)，生成目標(biāo)數(shù)據(jù)。


4.根據(jù)權(quán)利要求3所述的方法，還包括：
在根據(jù)所述配置數(shù)據(jù)，確定所述待處理數(shù)據(jù)包括多個(gè)相關(guān)聯(lián)的表的情況下，根據(jù)所述配置數(shù)據(jù)指示的所述多個(gè)相關(guān)聯(lián)的表的關(guān)聯(lián)字段，基于所述第一解析結(jié)果，生成數(shù)據(jù)集合，
所述基于所述算法，處理所述第一解析數(shù)據(jù)，獲得處理數(shù)據(jù)包括：基于所述算法處理所述數(shù)據(jù)集合，獲得處理數(shù)據(jù)。


5.根據(jù)權(quán)利要求4所述的方法，還包括：
根據(jù)所述配置數(shù)據(jù)中指示的過(guò)濾規(guī)則，對(duì)所述數(shù)據(jù)集合進(jìn)行過(guò)濾，
所述基于所述算法處理所述數(shù)據(jù)集合，獲得處理數(shù)據(jù)包括：基于所述算法處理過(guò)濾后的數(shù)據(jù)集合，獲得處理數(shù)據(jù)。


6.根據(jù)權(quán)利要求2所述的方法，在所述配置數(shù)據(jù)指示所述分布式計(jì)算框架執(zhí)行第一類型的計(jì)算的情況下，所述基于所述處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)包括：
根據(jù)配置數(shù)據(jù)指示的目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，將所述處理數(shù)據(jù)，轉(zhuǎn)化為目標(biāo)數(shù)據(jù)。


7.根據(jù)權(quán)利要求2所述的方法，在所述配置數(shù)據(jù)指示分布式計(jì)算框架執(zhí)行第二類型的計(jì)算的情況下，所述基于所述處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)還包括：
解析所述處理數(shù)據(jù)，獲得第二解析數(shù)據(jù)；以及
根據(jù)配置數(shù)據(jù)指示的任務(wù)類型，確定處理所述第二解析結(jié)果需要調(diào)用的計(jì)算方法，以基于所述計(jì)算方法，獲得目標(biāo)數(shù)據(jù)。


8.根據(jù)權(quán)利要求2所述的方法，還包括：存儲(chǔ)所述配置數(shù)據(jù)。


9.一種數(shù)據(jù)處理系統(tǒng)，包括：
獲得模塊，用于獲得基于非數(shù)據(jù)庫(kù)語(yǔ)言編寫(xiě)的用于處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)的至少一個(gè)算法；以及
集成模塊，用于集成所述至少一個(gè)算法到分布式計(jì)算框架中，以供用戶在使用所述分布式計(jì)算框架時(shí)能夠基于所述算法處理數(shù)據(jù)庫(kù)中的待處理數(shù)據(jù)，獲得目標(biāo)數(shù)據(jù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李海濤，宋鵬，
申請(qǐng)(專利權(quán))人：北京京東金融科技控股有限公司，
類型：發(fā)明
國(guó)別省市：北京;11