面向并行數字地形分析海量DEM部署與調度方法技術

本發明專利技術公開了一種面向并行數字地形分析海量DEM部署與調度方法，其步驟如下：第一步是并行應用程序的初始化，各計算節點同時獲取并行計算環境及DEM的各種參數；第二步、各計算節點根據本地數據塊與緩沖區執行串行算法，在必要時對緩沖區的相應數據進行更新操作；第三步、調用并行計算粒度控制模塊，對并行計算的數據粒度進行統計與更新，直到并行計算的效率達到最優；第四步、生成結果文件：對并行地形分析應用申請的各種內存進行回收，清空臨時內存與無關的外存數據；更新日志文件，統計并記錄各節點每次執行不同操作的時間，以便該地形分析算法的重復執行；進行結果融合與后操作，最終輸出結果文件。本發明專利技術具有廣闊的工業化應用前景。

【技術實現步驟摘要】
本專利技術涉及一種海量數字高程模型數據管理與調度的方法，具體說，是一種基于分布式并行數字地形分析技術與數據并行計算模型的動態數據分配部署方法。
技術介紹
數字地形分析是在數字高程模型(DEM)上進行地形屬性計算和特征提取的數字信息處理技術。自上世紀60年代以來，數字地形分析已在制圖、土木、水利、交通、水文、農業、規劃等地學領域得到廣泛應用。隨著研究的深入和應用領域的擴展，各應用領域給數字地形分析提出了新的要求。同時，各種新型傳感器，如LiDAR、InSAR, SAR等的出現，使DEM在數據獲取上更加靈活和迅速，網絡通訊技術使得各類DEMjBSRTM DEM,USGS DEM得以共享，特別是空間數據基礎設施的興起，區域級DEM的建庫工作已相繼完成，DEM呈現多比例尺、多分辨率的系列化的特征。面對如此浩瀚的、多元化的DEM數據，如何將其轉化為能在社會 經濟過程中直接應用的地學信息，并將這些地學信息轉化為地學知識，從而推動地學研究和應用的發展，已經成為國內外相關領域研究的主題。這也迫切要求解決在面對如此海量DEM數據時，現有分析方法及硬件資源在計算能力上嚴重不足甚至是無能為力的問題。并行計算技術為解決這一問題提供了新的思路。并行計算在空間信息科學領域中的應用由來已久，并取得了一些重要成果。但是，人們對DEM數字地形分析的并行處理模式還沒有形成統一而有效的認識，沒有完整的數字地形分析并行軟件；如何運用統一的模式和方法移植和并行化既有的串行DEM數字地形分析算法，傳統的分析算法是否都能夠進行并行化，如何在并行的環境中實現并行與串行算法與處理模式共用與互操作，這都是擺在眾多研究者面前迫切需要解決的問題。數字地形分析是地理信息系統(GIS)軟件必備的功能之一，地形因子算法的并行化也是所有與地形相關的復雜地理計算必須考慮的基礎要素。數字地形分析并行計算的有效實現是與地形相關的地理建模及復雜地理計算的基礎與關鍵技術問題。目前，眾多應用領域對DEM數據分辨率及數字地形分析效率的要求越來越高，相應的研究規模也不斷增大，計算資源低利用率和海量數據高分析效率要求之間的矛盾日益突出，歸納起來有以下幾點局限性(I)數字地形分析并行計算要解決的關鍵技術問題包括算法的任務分解、數據的有效拆分及高效融合等。現有數字地形分析的并行處理模式多從單一視角出發，未從整體上對數據、任務、計算環境進行綜合考量，也未見有全面探討三者之間相互關系及量化模型的研究成果，這就使得研究者很難把握處理器負載均衡策略并達到并行效率最大化的目的，也在一定程度上制約了數字地形分析并行技術的發展和應用。(2)數字地形分析算法的特點是計算密集和數據密集兼而有之，已有并行計算環境支持下的研究，多集中在某一個方面處理方法，孤立了 I/o密集和計算密集問題，并未對任務依賴關系、DEM數據塊和CPU/GPU處理能力匹配做深入研究。現有的串行算法的并行化需要重點考慮算法依賴關系，由于地形數據的非結構化和計算密集特征，使得任務調度、數據并行平臺的搭建等處理相對于結構化數據來說困難得多。(3)在目前基于“數據分塊一并行計算一結果合并”的并行計算實施策略中，因為其數據調度模式和計算方法，在計算單元內和基于單一數據集的計算方法并沒有本質差異，尚未形成高效、成熟、穩健的CPU/GPU任務分配機制，尤其是在計算過程中，還較少有針對動態數據分塊的自適應任務、數據調度策略的研究，包括動態地任務加載、任務計算、任務數量預測等。因此，研究適合不同數字地形分析內容的自適應任務分配策略和動態管理機制將是一個新的挑戰。
技術實現思路
本專利技術針對以上缺陷，設計了一套新的并行數字高程模型部署與調度的工業技術方案。該技術流程涵蓋了具有自適應計算節點性能數據分配技術和負載均衡可達的格網DEM數據調度技術兩大關鍵技術環節，該技術方案能夠解決現有并行地形分析算法中DEM低效率管理與調度的問題。·本專利技術的基本思想是在并行程序初始化與并行程序執行的過程中，完成不同性質算法數據的統一部署與調度，實現格網DEM數據在并行程序的整個過程中有效地減少通信次數并能夠滿足各類地形分析算法的數據約數關系。在保證并行程序高效率執行的同時，通過最優并行粒度量化體系的相關指標，實現并行粒度的動態控制，從而挖掘并行應用的潛在計算效率。為實現上述專利技術目的，本專利技術采用的技術方案如下面向并行數字地形分析海量DEM部署與調度方法，其步驟如下步驟1，初始化并行應用系統的信息；步驟2，各計算節點調用執行并行算法模塊，根據本地數據塊與緩沖區執行串行算法;步驟3，調用并行數字地形分析控制粒度模塊，對并行計算的數據粒度進行統計與更新；步驟4，生成結果文件對并行地形分析應用申請的各種內存進行回收，清空臨時內存與無關的外存數據；更新日志文件，統計并記錄各節點每次執行不同操作的時間，以便該地形分析算法的重復執行；進行結果融合與后操作，最終輸出結果文件。本專利技術的技術特點及有益效果(I)本專利技術提出了一套通用的并行地形分析數據部署與調度策略，運用了數據并行策略對不同性質的數字地形分析算法進行并行計算，通過結合緩沖區機制實現了不同依賴程度的算法的正確實行，采用了“數據并行為主，輔助以緩沖區”技術，實現了“不同并行算法，通用數據部署；不同依賴關系，動態數據調度；數據控制粒度，網絡環境無關”的并行地形分析海量DEM的部署與動態調度，具有廣闊的工業化應用前景。(2)本專利技術提出了最優并行控制粒度，通過記錄每次程序執行的粒度大小與計算時間，對計算效率進行綜合量化評價，提升了高性能地學分析的計算效率。該方法具有很好的可行性和穩定性，動態調度策略可望得較為理想的計算效率，有效地緩解了分布式并行計算效率低與通信耗時的瓶頸問題。(3)本專利技術提出的DEM并行部署模塊與并行粒度控制模塊可以獨立使用，也可以集成使用。使用DEM并行部署模塊，快速完成串行算法的并行化與數據調度。而通過最優并行粒度量化體系，可以計算出不同算法的最優并行計算粒度，充分保證海量DEM并行處理的高效率進行。二者具有較高的可移植性，為不同的并行環境提供了參考。在未來復雜多變的異構計算環境下，可用于計算的劃分和負載均衡控制，從而提供比傳統算法更高的任務執行效率和更好的可移植性。附圖說明圖I是本專利技術的初始化工作流程圖；圖2是DEM數據劃分方式，Ca) 一維行劃分，(b) 一維列劃分，(c) 二維塊劃分；圖3是3乘3鄰域型算法數據一維行劃分緩沖區示意圖；圖4是二維塊劃分時不同子塊的緩沖區示意圖，其中(a)表示子塊的上下左右方位都有緩沖區，(b)表示子塊的右方位沒有緩沖區； 圖5是本專利技術方法執行的主要流程圖；圖6是優化粒度算法執行主要流程；圖7是結果融合示意圖(進程間數據塊存在數據依賴關系)；圖8是生成結果文件的基本流程圖；圖9是本專利技術實施例中不同計算粒度下算法的執行時間；圖10是本專利技術實施例中不同計算粒度下洼地填平算法的加速比。具體實施例方式下面結合附圖和具體實例，對本專利技術作進一步詳細說明。本專利技術中設計和實現的過程中主要的類和接口如表I。表I主要類以及功能..................................................................涵.......................本文檔來自技高網...

【技術保護點】
面向并行數字地形分析海量DEM部署與調度方法，其步驟如下：步驟1，初始化并行應用系統的信息；步驟2，各計算節點調用執行并行算法模塊，根據本地數據塊與緩沖區執行串行算法；步驟3，調用并行數字地形分析控制粒度模塊，對并行計算的數據粒度進行統計與更新；步驟4，生成結果文件：對并行地形分析應用申請的各種內存進行回收，清空臨時內存與無關的外存數據；更新日志文件，統計并記錄各節點每次執行不同操作的時間；進行結果融合與后操作，最終輸入結果文件。

【技術特征摘要】
1.面向并行數字地形分析海量DEM部署與調度方法，其步驟如下 步驟1，初始化并行應用系統的信息； 步驟2，各計算節點調用執行并行算法模塊，根據本地數據塊與緩沖區執行串行算法； 步驟3，調用并行數字地形分析控制粒度模塊，對并行計算的數據粒度進行統計與更新； 步驟4，生成結果文件對并行地形分析應用申請的各種內存進行回收，清空臨時內存與無關的外存數據；更新日志文件，統計并記錄各節點每次執行不同操作的時間；進行結果融合與后操作，最終輸入結果文件。2.根據權利要求I所述的面向并行數字地形分析海量DEM部署與調度方法，其特征在于，所述步驟I的具體過程如下 步驟11，在MPI環境，各進程讀取全局DEM和并行環境的各種信息； 步驟12，調用內存管理模塊，為了最大程度的保證物理內存的充分使用，初始內存限制設定為所有進程可用物理內存的平均值的十分之一； 步驟13，選擇數據塊劃分的類型； 步驟14，根據內存限制、數據塊劃分類型與柵格數據類型，各計算節點根據內存限制申請內存使用，然后動態地計算各進程第一次需要...

【專利技術屬性】
技術研發人員：劉學軍，湯國安，宋效東，江嶺，
申請(專利權)人：南京師范大學，
類型：發明
國別省市：