消息處理方法及裝置制造方法及圖紙

本發(fā)明專利技術提出一種消息處理方法及裝置，涉及數(shù)據(jù)處理領域，通過判斷從kafka獲取的消息中包含的序列號與第一全局變量的值是否相同的方式，且只有在消息的序列號與第一全局變量的值相同時，消費該消息。本發(fā)明專利技術提供的消息處理方法及裝置，能夠確保消費者按照消息正確的生產(chǎn)順序進行消費。

Message Processing Method and Device

The invention provides a message processing method and device, which relates to the field of data processing. By judging whether the sequence number contained in the message obtained from Kafka is the same as the value of the first global variable, the message is consumed only when the sequence number of the message is the same as the value of the first global variable. The message processing method and device provided by the invention can ensure that consumers consume according to the correct production sequence of the message.

【技術實現(xiàn)步驟摘要】
消息處理方法及裝置
本專利技術涉及數(shù)據(jù)處理領域，具體而言，涉及一種消息處理方法及裝置。
技術介紹
Kafka是一種基于zookeeper協(xié)調管理的分布式流平臺的消息系統(tǒng)，能夠允許發(fā)布和訂閱流數(shù)據(jù)，kafka的基本結構中至少包括有產(chǎn)生消息的生產(chǎn)者(producer)和消費消息的消費者(consumer)，生產(chǎn)者負責生產(chǎn)消息，并發(fā)送給kafka服務器，消費者則從kafka集群中訂閱消費主題，以使消費者獲得kafka服務器中訂閱的主題下的消息進行消費。Kafka服務器在接收到生產(chǎn)者發(fā)送的消息時，會將一組消息歸納為一個主題(即Topic)，簡單的說，主題就是kafka服務器對消息的分類，kafka服務器會將所有相同類別的消息存儲在同一主題下，消費者通過訂閱主題進行消費，即獲得相應的事件消息。
技術實現(xiàn)思路
本專利技術的目的在于提供一種消息處理方法及裝置，能夠確保消費者按照消息正確的生產(chǎn)順序進行消費。為了實現(xiàn)上述目的，本專利技術實施例采用的技術方案如下：第一方面，本專利技術實施例提供了一種消息處理方法，所述方法包括：從kafka主題獲取消息，其中，所述消息中包含有序列號，所述序列號用于指示消息生產(chǎn)者在生產(chǎn)所述消息時的順序；若所述消息的序列號與第一全局變量的值相同，消費所述消息，其中，所述第一全局變量的值用于指示待消費的消息在所述kafka主題中的序列號。第二方面，本專利技術實施例提供了一種消息處理裝置，所述裝置包括：收發(fā)模塊，用于從kafka主題獲取消息，其中，所述消息中包含有序列號，所述序列號用于指示消息生產(chǎn)者在生產(chǎn)所述消息時的順序；處理模塊，用于若所述消息的序列號與第一全局變量的值相同，消費所述消息，其中，所述第一全局變量的值用于指示待消費的消息在所述kafka主題中的序列號。第三方面，本專利技術實施例提供了一種電子設備，包括：存儲器，用于存儲一個或多個程序；處理器；當所述一個或多個程序被所述處理器執(zhí)行時，實現(xiàn)本專利技術實施例所提供的消息處理方法。相對于現(xiàn)有技術，本專利技術實施例所提供的一種消息處理方法及裝置，通過判斷從kafka獲取的消息中包含的序列號與第一全局變量的值是否相同的方式，且只有在消息的序列號與第一全局變量的值相同時，消費該消息，相比于現(xiàn)有技術，使消費者在消費所訂閱的主題下的消息時，不再依據(jù)每條消息產(chǎn)生時的時間戳來判斷不同消息間的生產(chǎn)順序，而是依據(jù)獲得的消息所包含的序列號與第一全局變量的值是否相同，以確保消費者按照正確的生產(chǎn)順序消費訂閱的主題下的消息。為使本專利技術的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。附圖說明為了更清楚地說明本專利技術實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本專利技術的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它相關的附圖。圖1示出了本專利技術實施例的一種示意性應用場景圖；圖2示出了本專利技術實施例所提供的一種電子設備的一種示意性結構圖；圖3示出了本專利技術實施例所提供的一種消息處理方法的一種示意性流程圖；圖4為主題A包含的消息的一種示意圖；圖5為消費消息時的一種應用場景示意圖；圖6示出了本專利技術實施例所提供的一種消息處理裝置的一種示意性結構圖。圖中：100-電子設備；101-存儲器；102-處理器；103-通信接口；200-消息處理裝置；201-收發(fā)模塊；202-處理模塊。具體實施方式為使本專利技術實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本專利技術實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本專利技術的實施例的詳細描述并非旨在限制要求保護的本專利技術的范圍，而是僅僅表示本專利技術的選定實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。同時，在本專利技術的描述中，術語“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。下面結合附圖，對本專利技術的一些實施方式作詳細說明。在不沖突的情況下，下述的實施例及實施例中的特征可以相互組合。請參閱圖1，圖1示出了本專利技術實施例的一種示意性應用場景圖，如圖1所示，生產(chǎn)者、kafka及消費者共同構成分布式消息系統(tǒng)。在該分布式消息系統(tǒng)中，生產(chǎn)者將產(chǎn)生的消息發(fā)送給kafka，kafka則將接收到的消息，按照消息所屬的主題類別進行存儲，比如在接收到一條消息，當該消息所屬的主題類別為主題A時，kafka則將這條消息存儲到主題A對應的存儲地址下，進而將所有相同的類別的消息進行統(tǒng)一存儲；而當消費者在消費消息時，消費者在kafka訂閱消費的主題，比如訂閱主題A作為消費的主題，該訂閱的主題表征消費者將要消費的消息所屬的類別，消費者在消費消息時，kafka將消費者所訂閱的主題中的消息發(fā)送給消費者，以供消費者消費消息，比如在前述消費者訂閱kafka中的主題A作為消費的主題時，kafka則將主題A中的消息發(fā)送給消費者。值得說明的是，一般來說，kafka可以與多個生產(chǎn)者建立通信(圖1中僅示出一個)，而不同的生產(chǎn)者將產(chǎn)生的消息發(fā)送給kafka時，kafka可以存儲在相同的主題下，也可以存儲在不同的主題下，這取決于每個生產(chǎn)者產(chǎn)生的各類消息所預先配置的存儲主題；并且，kafka還可以與多個消費者建立通信(圖1中僅示出一個)，而不同的消費者可以消費相同類別主題下的消息，也可以消費不同類別主題下的消息，這取決于為每個消費者預先配置的消費主題類別。在圖1所示的示意圖中，雖然采用分布式消息系統(tǒng)具有高效、低延遲等優(yōu)點，但消息在傳輸?shù)倪^程中，可能會發(fā)生時序錯亂的情況，使得消費者不能按照每條消息實際產(chǎn)生的先后順序進行處理，導致事件不能完成。比如，在銀行辦理銀行卡密碼修改服務時，用戶需要依次輸入舊密碼-新密碼-新密碼才會被認為修改成功，但若是用戶操作的終端作為生產(chǎn)者，依次輸入舊密碼-新密碼-新密碼在發(fā)送給kafka的過程中，時序發(fā)生了錯亂，先后順序變成的新密碼-舊密碼-新密碼，則銀行后臺的設備作為消費者在消費這三條消息時，依次接收到的消息就變成了新密碼-舊密碼-新密碼，這時，本該正常完成的修改密碼的業(yè)務變成了由于密碼錯誤而不能被完成。因此，在分布式消本文檔來自技高網(wǎng)...

【技術保護點】
1.一種消息處理方法，其特征在于，所述方法包括：從kafka主題獲取消息，其中，所述消息中包含有序列號，所述序列號用于指示消息生產(chǎn)者在生產(chǎn)所述消息時的順序；若所述消息的序列號與第一全局變量的值相同，消費所述消息，其中，所述第一全局變量的值用于指示待消費的消息在所述kafka主題中的序列號。

【技術特征摘要】
1.一種消息處理方法，其特征在于，所述方法包括：從kafka主題獲取消息，其中，所述消息中包含有序列號，所述序列號用于指示消息生產(chǎn)者在生產(chǎn)所述消息時的順序；若所述消息的序列號與第一全局變量的值相同，消費所述消息，其中，所述第一全局變量的值用于指示待消費的消息在所述kafka主題中的序列號。2.如權利要求1所述的方法，其特征在于，若所述消息的序列號與第一全局變量的值相同，所述方法還包括：更新所述第一全局變量的值，且以所述更新后的第一全局變量的值，返回執(zhí)行所述從kafka主題獲取消息的步驟。3.如權利要求1所述的方法，其特征在于，若所述消息的序列號與第一全局變量的值不同，所述方法還包括：將所述消息保存到預設的數(shù)據(jù)庫；在所述預設的數(shù)據(jù)庫中查找序列號與所述第一全局變量的值相同的消息；若查找到，則消費所述查找到的消息，并更新所述第一全局變量的值，且以所述更新后的第一全局變量的值，返回執(zhí)行在所述預設的數(shù)據(jù)庫中查找序列號與所述第一全局變量的值相同的消息的步驟；若查找不到，則返回執(zhí)行所述從kafka主題獲取消息的步驟。4.如權利要求3所述的方法，其特征在于，所述將所述消息保存到預設的數(shù)據(jù)庫之后，所述方法還包括：比較所述第一全局變量的值和第二全局變量的值，其中，所述第二全局變量的值用于指示所述kafka主題中保存的消息的最大序列號；若所述第一全局變量的值大于所述第二全局變量的值，則更新所述第二全局變量的值，并以所述更新后的第二全局變量的值，返回執(zhí)行所述比較所述第一全局變量的值和第二全局變量的值的步驟；若所述第一全局變量的值小于或等于所述第二全局變量的值，則執(zhí)行所述在所述預設的數(shù)據(jù)庫中查找序列號與所述第一全局變量的值相同的消息的步驟。5.如權利要求3所述的方法，其特征在于，若在所述預設的數(shù)據(jù)庫中查找到序列號與所述第一全局變量的值相同的消息，消費所述查找到的消息后，所述方法還包括：從所述預設...

【專利技術屬性】
技術研發(fā)人員：陳欣欣，
申請(專利權)人：新華三大數(shù)據(jù)技術有限公司，
類型：發(fā)明
國別省市：河南,41