一種分布式應用系統之間的消息傳遞方法和消息中間件系統技術方案

一種分布式應用程序之間的消息中間件系統及傳遞消息的方法，該系統包括，發送方，接收方，組，接口函數，其特征在于，所述組里面的節點由一個主成員與一個及以上個從成員構成，所述主成員使用全局唯一的名稱建立組，在建組的同時設定該組共有包括主成員在內的N個成員，從成員使用唯一的名稱加入某個已經建立好的組，并在加入的時候為自己指定一個不會重復的序號。

【技術實現步驟摘要】

本專利技術涉及網絡通信技術，尤其涉及一種分布式應用系統之間的消息傳遞方法和消息中間件系統。
技術介紹
消息中間件(message oriented middleware)是指支持與保障分布式應用程序之間同步/異步收發消息的中間件。消息是分布式應用之間進行數據交換的基本信息單位，分布式應用程序之間的通信接口由消息中間件提供。具體的說，消息中間件就是進程或線程之間的數據通信中間件，提供任務(進程或線程)間數據傳輸的統一服務，無論任務在什么物理位置，無論通信載體是什么。目前，消息中間件已經廣泛應用于各類分布式應用系統之中。例如，在采用多DSP陣列結構的并行信號處理系統中，消息中間件就發揮了巨大作用。并行信號處理系統的應用開發主要是多處理器開發，并行任務的分配方法。在以往的多處理器開發調試中，軟硬件結合緊密，支撐軟件功能簡單，系統開放性不夠，通信不夠靈活等問題，最終導致系統功能和性能受限，開發周期和開發費用上升。為滿足新時期陣列信號處理系統對網絡化、一體化的需求，陣列信號處理系統內部應配置消息中間件，用于屏蔽內部數據網絡和網絡協議的細節與異構，將復雜的底層處理工作和具體的工程應用分開，通過簡單的接口函數建立信息和控制通道，從而使工程技術人員可以專心應用層的設計實現，擺脫不得不對底層硬件系統進行深入研究的困境。
技術實現思路
(1)要解決的技術問題本專利技術的主要目的在于提供一種基于組的消息傳遞方法和消息中間件，以屏蔽內部數據網絡和網絡協議的細節與異構。(2)技術方案本專利技術提供一種分布式應用程序之間的消息中間件系統，包括，發送方，接收方，組，接口函數，其特征在于，所述組里面的節點由一個主成員與一個及以上個從成員構成，所述主成員使用全局唯一的名稱建立組，在建組的同時設定該組共有包括主成員在內的N個成員，從成員使用唯一的名稱加入某個已經建立好的組，并在加入的時候為自己指定一個不會重復的序號。本專利技術還提供一種利用上述消息中間件系統進行分布式應用程序之間消息傳遞的方法，包括以下步驟：1)首先人為設定一個主成員，由主成員創建一個組，并設定包括主成員在內的組成員個數；2)主成員在線程內部創建了一個柵障(Barrier)以確保在從成員在加入組時成員間的同步，然后調用柵障等待的API函數掛起本線程，直到所有的成員都創建或加入組；3)從成員加入已經創建好的組，在加入的同時在內部獲取已創建的柵障的標識符，獲取柵障標識符成功后調用柵障等待的API函數掛起本線程，直到所有的成員都創建或加入組時，釋放本線程；4)接收方發起數據傳輸過程，向發送方發送消息，內容為接收方設備的ID、數據接收首地址、接收數據長度；5)發送方成功接收到消息后，根據報文內容向接收方的接收首地址發送指定長度的數據，該數據長度取各個接收數據長度與發送數據長度的最小值；6)數據發送完成后接收方進入SRIO門鈴中斷，在中斷服務程序內部發送事件給接收線程；7)接收線程接收到發送方對應事件后返回，結束接收過程。針對系統對消息中間件點對點、一對多、多對一的數據通信要求，該消息中間件引入了組的概念。將兩個及以上節點之間的數據傳輸組成的數據鏈路網定義為一個組，并將一向多發的數據通信形式稱為組播，多向一發稱為會集。在一個組里面的節點由一個主成員與一個及以上個從成員構成。主成員負責使用全局唯一的名稱建立一個組，在建組的同時設定該組共有N個成員(含主成員)。從成員使用唯一的名稱加入某個已經建立好的組，并在加入的時候為自己指定一個不會重復的序號(1～N-1)。該消息中間件組的概念存在一個限制條件，即一個組內只有一個主成員，只允許主成員與從成員之間進行數據傳輸，從成員與從成員之間不能進行直接的數據傳輸。組的創建過程為：首先人為設定一個主成員，由主成員創建一個組，并設定組成員個數(含主成員)，在內部創建了一個柵障(Barrier)以確保在從成員在加入組時成員間的同步，然后調用柵障等待的API函數掛起本線程，直到所有的成員都創建或加入組時即可釋放；從成員加入已經創建好的組，在加入的同時在內部獲取已創建的柵障的標識符，獲取柵障標識符成功后調用柵障等待的API函數即可掛起本線程，直到所有的成員都創建或加入組即可釋放。創建、加入組時的同步機制框圖參見圖1。在該消息中間件的設計中，點對點通信是組通信的一個特例，即一個通信組中只包含兩個節點，其中一個是組的主成員，另一個是從成員。在這里組播通信以及數據會集通信天然地退化為點對點通信。同時，消息中間件對三種物理鏈路(RapidIO、千兆以太網、共享存儲區)進行了抽象和統一，使用一套相同的數據收發函數實現不同類型的數據通信業務，而不像MPI(Message Passing Interface)那樣需要為點對點、組播以及數據會集設計不同類型的收發函數。(3)有益效果在用戶在調用消息中間件的接口函數創建組時，既可以指定物理鏈路(SRIO、千兆以太網、共享存儲器以及自動鏈路選擇)，也可以選擇傳輸模式(大數據、短消息以及缺省模式)。采用統一的接口函數支持點對點、一對多的組播以及多對一的會集三種不同通信模式，在中間件的API函數內部判斷選擇正確的傳輸模式，支持跨核、跨芯片以及跨機箱的操作。附圖說明圖1為組創建過程的程序框圖；圖2為SRIO點對點數據收發過程示意圖；圖3為SRIO組播數據收發示意圖；圖4為會集數據收發示意圖；圖5為范例一數據通信拓撲結構圖；圖6為范例二數據通信拓撲結構圖；圖7為雙向通信拓撲結構圖。具體實施方式該消息中間件支持三種物理通信鏈路(SRIO、千兆以太網、共享存儲器)，下面以SRIO鏈路為例講述點對點、一對多的組播及多對一的會集三種通信方式，千兆以太網及共享存儲器鏈路下的這三種通信方式類似，不再贅述。點對點的數據傳輸過程由接收方發起，接收方先向發送方發送一條SRIO短消息，內容為接收方的SRIO設備ID號、接收首地址、接收數據長度。發送方成功接收到短消息后根據報文內容即可向接收方的接收首地址發送指定長度的數據，該數據長度取接收數據長度與發送數據長度的最小值。數據發送完成后接收方會進入SRIO門鈴中斷，在中斷內部發送事件給接收線程，接收線程接收到了事件后返回，結束接收過程。面向SRIO的點對點數據發送、接收同步機制框圖參見圖2。一對多的組播方式下，數據傳輸過程由多個接收方發起，首先各個接收方向發送方分別發送一條SRIO短消息，報文內容為接收方SRIO設備的ID、數據接收首地址、接收數據長度。發送方在成功接收到所有接收方發出的短消息后，根據各自報文內容向各個接收方定的接收首地址發送指定長度的數據，該數據長度取各個接收數據長度與發送數據長度的最小值。所有數據都發送完成后各個接收方會進入SRIO門鈴中斷，在中斷服務程序內部發送事件給接收線程，接收線程接收到事件后返回，結束接收過程。面向SRIO的一對多數據發送、接收同步機制框圖參見圖3。多對一的數據會集方式下，數據傳輸過程由接收方發起，先向各個發送方分別發送一條SRIO短消息，報文內容為接收方SRIO設備的ID、數據接收首地址、接收數據長度。各個發送方成功接收到短消息后，根據報文內容向接收方的接收首地址發送指定長度的數據，該數據長度取各個接收數據長度與發送數據長度的最小值。數據發送完成后接收方會進入S本文檔來自技高網...

【技術保護點】
一種分布式應用系統之間的消息中間件系統，包括，發送方，接收方，組，接口函數，其特征在于，所述組里面的節點由一個主成員與一個及以上個從成員構成，所述主成員使用全局唯一的名稱建立組，在建組的同時設定該組共有包括主成員在內的N個成員，從成員使用唯一的名稱加入某個已經建立好的組，并在加入的時候為自己指定一個不會重復的序號。

【技術特征摘要】
1.一種分布式應用系統之間的消息中間件系統，包括，發送方，接收方，組，接口函數，其特征在于，所述組里面的節點由一個主成員與一個及以上個從成員構成，所述主成員使用全局唯一的名稱建立組，在建組的同時設定該組共有包括主成員在內的N個成員，從成員使用唯一的名稱加入某個已經建立好的組，并在加入的時候為自己指定一個不會重復的序號。2.一種如權利要求1所述一種分布式應用系統之間的消息中間件系統，其特征在于，消息中間件對RapidIO、千兆以太網、共享存儲區三種物理鏈路進行了抽象和統一，采用統一的接口函數支持點對點、一對多的組播以及多對一的會集三種不同通信模式，在API函數內部判斷選擇正確的傳輸模式，包括大數據、短消息以及缺省模式。3.一種如權利要求2所述一種分布式應用系統之間的消息中間件系統，其特征在于，所述中間件系統安裝于計算板上，所述節點為DSP芯片。4.一種如權利要求3所述一種分布式應用系統之間的消息中間件系統，其特征在于，所述中間件系統包括8個節點，分別位于計算板1和計算板2上，分別為計算板1上的DSP0-1、DSP1-1、DSP2-1和DSP3-1計算板2上的DSP0-2、DSP1-2、DSP2-2和DSP3-2；建立六個組，組名稱分別為Group1、Group2、Group3、Group4、Group5和Group6，Group1由計算板1的DSP0-1、DSP1-1、DSP2-1和DSP3-1四個成員組成，其中DSP0-1是通信組的主成員，采用數據組播的形式由DSP0-1向其余三個成員發送數據，Group2、Group3和Group4分別由兩塊計算板的DSP1-1、DSP1-2，DSP2-1、DSP2-2，DSP3-1、DSP3-2組成，其中計算板2的三個節點是通信組的主成員，采用點對點的形式由計算板1的節點向計算板2的相應節點發送數據，Group5由計算板2的DSP0-2、DSP1-2、DSP2-2和DSP3-2四個成員組成，其中DSP3-2是通信組的主成...

【專利技術屬性】
技術研發人員：程彩，
申請(專利權)人：北京中科海訊數字科技股份有限公司，
類型：發明
國別省市：北京;11