一種基于PCIe數據交換的通信方法及系統技術方案

本發明專利技術公開了一種基于PCIe數據交換的通信方法及系統。該方法包括：步驟1，啟動PCIe交換機，并對與所述PCIe交換機進行通信的處理機和PCIe終端進行PCIe的設備搜索和配置；步驟2，所述處理機或PCIe終端根據路由信息向所述PCIe交換機端口發送PCIe讀寫請求，所述端口使用兼容標準PCIe鏈路層協議的包格式和兼容標準PCIe路由的可擴展路由方式，將所述PCIe讀寫請求構造為數據包，并將其發送至對應端口；步驟3，所述對應端口將所述數據包還原為PCIe讀寫請求，并將其發送至處理機或PCIe終端。本發明專利技術通過擴展PCIe協議，實現了基于PCIe鏈路的多處理機間通信，構建任意拓撲的可擴展互連網絡。

【技術實現步驟摘要】

本專利技術涉及一種基于PCIe數據交換的通信方法及系統，特別是涉及一種通過擴展PCIe協議實現的多處理機環境下數據交換方法及數據交換系統，還涉及對標準PCIe的兼容，實現基于PCIe的I/O設備擴展。
技術介紹
PC1-Express總線協議(簡稱PCIe)繼承自PC1、PCI_x協議，是當前計算機系統中主流的I/o系統總線。相比PCI和PC1-X，PCIe總線具有更高的高帶寬，PCIe2.0規范的單路(lane)單向帶寬就已達到5Gpbs，PCIe3.0規范更是達到了 8Gbps。由于是串行傳輸協議，因此PCIe總線可以實現較長的傳輸距離，甚至可以通過使用光模塊，達到上百米的傳輸距離。此外，PCIe總線還提供了豐富的服務質量(QoS)特性，和點對點鏈路可靠性保證。作為PC1、PC1-x總線的延續，PCIe總線主要用于擴展I/O資源。目前市場上均為符合PCIe標準的PCIe交換機，它們可以通過級聯構成樹形拓撲，處理機是樹的根，而I/O設備則是樹的葉子。目前構造的樹形拓撲可以有多個根，不同的根擁有不同的子樹，但根與根之間不能通信。這些子樹之間可以共用中間的節點(PCIe交換機)，但一個葉子(PCIe終端設備)僅能歸屬于一個子樹。因此，標準PCIe交換機構成的網絡，只是一個或若干個功能獨立的子樹的集合，子樹之間并無數據交換，當然這已經滿足了在I/O擴展方面的需要。但是從帶寬、傳輸距離、服務質量、可靠性等方面看，PCIe總線除了實現I/O設備的擴展外，還適合于構造系統互連網絡，實現多臺計算機間的高速互連。然而PCIe總線嚴格遵循樹形拓撲，終端葉子節點之間無法直接通信，也就無法用于構造復雜拓撲的網絡。為了使兩個處理機之間能夠直接通信，出現了非透明橋技術(NTB:non-transparentbridge)，該技術實現了兩個處理機地址空間的相互映射，使得地址空間邏輯上統一。但是即使利用NTB技術，PCIe總線的ID路由或物理地址路由也極大限制了系統的擴展性。所謂ID路由使用PCIe中定義的ID號，ID號由{總線號，設備號，功能號}組成。PCIe的總線號最大256個，一個總線上可以有32個設備，一個設備可以有8個功能，僅從ID號上看，系統里最大支持8192個設備的存在，也就是說，假設能夠做處理器間互連，那么最大的系統規模為8192 (處理器是設備，因此功能號沒有用處)。事實上，系統并達不到8192的規模，因為樹形拓撲中的非葉子節點會占用總線號，每占用一個總線號，就會減少32個設備，而樹形拓撲中恰恰又存在許多的非葉子節點(假設有8192個節點，使用32端口 PCIe交換機，就需要至少265個交換機，占用265個總線號)。物理地址路由同樣存在問題，在PCIe協議中要求所有的設備都存在于一個內存空間內，我們知道一個處理器往往要帶4GB的內存(服務器中會達到16GB)，如果互連的是處理器，以64位系統為例(目前的處理器能發出的物理地址最大為40位)，那么能包含的處理器數量僅有24°/4G=28=256個。本專利技術旨在解除PCIe總線的拓撲和路由限制，設計實現一種PCIe數據交換技術，使得PCIe總線在擴展I/O設備的同時，實現多處理機間的通信，構建任意拓撲的可擴展互 連網絡。
技術實現思路
為解決上述PCIe總線的拓撲和路由限制的問題，實現多處理機間的通信和構建任意拓撲的可擴展互連網絡的目的。本專利技術提供了一種基于PCIe數據交換的通信方法，該方法包括:步驟1，啟動PCIe交換機，并對與所述PCIe交換機進行通信的處理機和PCIe終端進行PCIe的設備搜索和配置；步驟2，所述處理機或所述PCIe終端根據路由信息向所述PCIe交換機端口發送PCIe讀寫請求，所述端口使用兼容標準PCIe鏈路層協議的包格式和兼容標準PCIe路由的可擴展路由方式，將所述PCIe讀寫請求構造為數據包，并將其發送至對應端口 ；步驟3，所述對應端口將所述數據包還原為PCIe讀寫請求，并將其發送至處理機或所述PCIe終端。如果發送PCIe讀寫請求的是處理機，則所述步驟2包括:步驟21，所述處理機根據路由信息向其下一級PCIe交換機的上游端口的單PCI橋配置空間發送PCIe讀寫請求；步驟22，所述上游端口的上游輸出端口路由單元使用PCIe讀寫請求的PCIe終端的地址查詢地址端口路由表，獲得下游端口號，并使用該下游端口號將所述PCIe讀寫請求構造為第一數據包，所述上游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的請求虛通道；步驟23，所述本地交叉開關的交換子模塊將該第一數據包發送至所述下游端口 ；如果發送PCIe讀寫請求的是處理機，且PCIe讀寫請求是PCIe寫請求，則所述步驟3包括:步驟31，所述下游端口將所述第一數據包還原為PCIe寫請求，若與下游端口相連的是下一級PCIe交換機的上游端口，則將該PCIe寫請求發送給該上游端口 ；若與所述下游端口相連的是PCIe終端，則將該PCIe寫請求發送給該PCIe終端。如果發送PCIe讀寫請求的是處理機，且PCIe讀寫請求是PCIe讀請求，則所述步驟3包括:步驟31，所述下游端口將所述第一數據包還原為PCIe讀請求，若與下游端口相連的是下一級PCIe交換機的上游端口，則將該PCIe讀請求發送給該上游端口 ；若與下游端口相連的是PCIe終端，則將該PCIe讀請求發送給該PCIe終端；步驟32，所述PCIe終端根據路由信息向其上一級PCIe交換機的下游端口發送攜帶的PCIe讀請求ID號的PCIe響應數據；步驟33，所述下游端口的下游輸出端口路由單元使用PCIe響應數據的PCIe讀請求ID號查詢源ID端口路由表，獲取上游端口號，并使用該上游端口號將PCIe響應數據構造為第一數據包，所述下游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的應答虛通道；步驟34，所述本地交叉開關的交換子模塊將該第一數據包發送至上游端口 ；步驟35，所述上游端口將該第一數據包還原為PCIe響應數據，若與上游端口相連的是上一級PCIe交換機的下游端口，則將PCIe響應數據發送給該下游端口 ；若與上游端口相連的是處理機，則將PCIe響應數據發送給該處理機。如果發送PCIe讀寫請求的是PCIe終端，則所述步驟2包括:步驟221，所述PCIe終端根據路由信息向其上一級PCIe交換機的下游端口的多PCI橋配置空間單元發送PCIe讀寫請求；步驟222，所述下游端口使用PCIe讀寫請求中的處理機地址與多PCI橋配置空間單元中各個PCI橋配置空間地址進行比對，獲得命中PCI橋配置空間對應的上游端口號，并使用該上游端口號將所述PCIe讀寫請求構造為第一數據包，下游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的請求虛通道；步驟223，所述本地交叉開關的交換子模塊將該第一數據包發送至上游端口。如果發送PCIe讀寫請求的是PCIe終端，且PCIe讀寫請求是PCIe寫請求，則所述步驟3包括:步驟331，所述上游端口將該第一數據包還原為PCIe寫請求，若與所述上游端口相連的是上一級PCIe交換機的下游端口，則將PCIe寫請求發送給該下游端口 ；若與上游端口相連的是處理機，則將PCIe寫請求發送給該處理機。如果發送PCIe讀寫請求的是PCIe終端，且本文檔來自技高網...

【技術保護點】
一種基于PCIe數據交換的通信方法，其特征在于，包括：步驟1，啟動PCIe交換機，并對與所述PCIe交換機進行通信的處理機和PCIe終端進行PCIe的設備搜索和配置；步驟2，所述處理機或所述PCIe終端根據路由信息向所述PCIe交換機端口發送PCIe讀寫請求，所述端口使用兼容標準PCIe鏈路層協議的包格式和兼容標準PCIe路由的可擴展路由方式，將所述PCIe讀寫請求構造為數據包，并將其發送至對應端口；步驟3，所述對應端口將所述數據包還原為PCIe讀寫請求，并將其發送至處理機或所述PCIe終端。

【技術特征摘要】
1.一種基于PCIe數據交換的通信方法，其特征在于，包括: 步驟I，啟動PCIe交換機，并對與所述PCIe交換機進行通信的處理機和PCIe終端進行PCIe的設備搜索和配置； 步驟2，所述處理機或所述PCIe終端根據路由信息向所述PCIe交換機端口發送PCIe讀寫請求，所述端口使用兼容標準PCIe鏈路層協議的包格式和兼容標準PCIe路由的可擴展路由方式，將所述PCIe讀寫請求構造為數據包，并將其發送至對應端口 ； 步驟3，所述對應端口將所述數據包還原為PCIe讀寫請求，并將其發送至處理機或所述PCIe終端。2.如權利要求1所述的基于PCIe數據交換的通信方法，其特征在于，如果發送PCIe讀寫請求的是處理機，則所述步驟2包括: 步驟21，所述處理機根據路由信息向其下一級PCIe交換機的上游端口的單PCI橋配置空間發送PCIe讀寫請求； 步驟22，所述上游端口的上游輸出端口路由單元使用PCIe讀寫請求的PCIe終端的地址查詢地址端口路由表，獲得下游端口號，并使用該下游端口號將所述PCIe讀寫請求構造為第一數據包，所述上游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的請求虛通道； 步驟23，所述本地交叉開關的交換子模塊將該第一數據包發送至所述下游端口。3.如權利要求2所述的基于PCIe數據交換的通信方法，其特征在于，如果發送PCIe讀寫請求的是處理機，且PCIe讀寫請求是PCIe寫請求，則所述步驟3包括: 步驟31，所述下游端口將所述第一數據包還原為PCIe寫請求，若與下游端口相連的是下一級PCIe交換機的上游端口，則將該PCIe寫請求發送給該上游端口 ；若與所述下游端口相連的是PCIe終端，則將該PCIe寫請求發送給該PCIe終端。4.如權利要求3所述的基于PCIe數據交換的通信方法，其特征在于，如果發送PCIe讀寫請求的是處理機，且PCIe讀寫請求是PCIe讀請求，則所述步驟3包括: 步驟31，所述下游端口將所述第一數據包還原為PCIe讀請求，若與下游端口相連的是下一級PCIe交換機的上游端口，則將該PCIe讀請求發送給該上游端口 ；若與下游端口相連的是PCIe終端，則將該PCIe讀請求發送給該PCIe終端； 步驟32，所述PCIe終端根據路由信息向其上一級PCIe交換機的下游端口發送攜帶的PCIe讀請求ID號的PCIe響應數據； 步驟33，所述下游端口的下游輸出端口路由單元使用PCIe響應數據的PCIe讀請求ID號查詢源ID端口路由表，獲取上游端口號，并使用該上游端口號將PCIe響應數據構造為第一數據包，所述下游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的應答虛通道； 步驟34，所述本地交叉開關的交換子模塊將該第一數據包發送至上游端口 ； 步驟35，所述上游端口將該第一數據包還原為PCIe響應數據，若與上游端口相連的是上一級PCIe交換機的下游端口，則將PCIe響應數據發送給該下游端口 ；若與上游端口相連的是處理機，則將PCIe響應數據發送給該處理機。5.如權利要求1所述的基于PCIe數據交換的通信方法，其特征在于，如果發送PCIe讀寫請求的是PCIe終端，則所述步驟 2包括:步驟221，所述PCIe終端根據路由信息向其上一級PCIe交換機的下游端口的多PCI橋配置空間單元發送PCIe讀寫請求； 步驟222，所述下游端口使用PCIe讀寫請求中的處理機地址與多PCI橋配置空間單元中各個PCI橋配置空間地址進行比對，獲得命中PCI橋配置空間對應的上游端口號，并使用該上游端口號將所述PCIe讀寫請求構造為第一數據包，下游端口發送該第一數據包至本地交叉開關的接收虛通道模塊的請求虛通道； 步驟223，所述本地交叉開關的交換子模塊將該第一數據包發送至上游端口。6.如權利要求5所述的基于PCIe數據交換的通信方法，其特征在于，如果發送PCIe讀寫請求的是PCIe終端，且PCIe讀寫請求是PCIe寫請求，則所...

【專利技術屬性】
技術研發人員：孫凝暉，曹政，劉小麗，安學軍，張佩珩，
申請(專利權)人：中國科學院計算技術研究所，
類型：發明
國別省市：北京;11