本發明專利技術涉及一種數據倉庫的測試方法，包括以下的步驟：S1、確定待測試的數據倉庫環境；S2、建立基于業務數據的數據模型；S3、建立測試用例，對數據倉庫進行測試；S4、記錄測試結果。實施本發明專利技術的一種數據倉庫測試方法，能夠適應當前新架構的數據倉庫的特點，準確、快速的反應待測試數據倉庫的各項特性。
【技術實現步驟摘要】
本專利技術涉及數據倉庫技術，更具體地說，涉及。
技術介紹
數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，其主要功能是進行分析型處理。數據倉庫技術是企業經營分析系統的基礎。經營分析系統可通過分析運營數據，為管理決策提供支持。隨著網絡技術和計算機應用的發展，互聯網、電信和銀行等行業的企業在運營過程中產生的數據量快速膨脹，對數據倉庫的性能、可擴展性等有著巨大影響。傳統的集中式數據倉庫架構已經無法滿足大型企業的經營分析系統在數據集成性、及時性和查詢響應時間等各方面的要求。目前集團型企業和大型互聯網企業 均采用分布式的數據倉庫架構設計，有效地提高了系統性能。在強調數據準確性和可用性的背景下，對經營分析系統的分布式數據倉庫建立起一套完善的測試方法，可以獲得系統架構和數據倉庫在性能方面的分析結果，以便于驗證各類數據倉庫解決方案或產品的支持能力?，F有的數據倉庫的測試方法多是針對傳統的集中型數據倉庫提出，例如業界廣泛使用的TPC-H標準。TPC-H主要目的是評價特定查詢的決策支持能力，強調服務器在數據挖掘、分析處理方面的能力。然而TPC-H的問題模型并不適合現在的分布式數據倉庫=TPC-H測試模型對數據量的要求最大為TB級，并發量相對較?。籘PC-H測試模型為數據庫服務器連續7X24小時工作，可能只有I次/月的維護；多用戶并發執行復雜的動態查詢，同時有并發執行表修改操作。這與新型的分布式數據倉庫的問題模型有很大差異。針對現有的數據倉庫的測試方法不再適用于新型分布式數據倉庫的問題模型，有必要建立新的數據倉庫的測試方法，以適應新型數據倉庫架構的特點。專利
技術實現思路
本專利技術的目的在于，針對現有的測試方法無法準確、快速的反應新型數據倉庫性能的缺陷，提供以解決上述問題。本專利技術解決上述問題的方案是提供，包括以下步驟SI、確定待測試的數據倉庫環境；S2、建立基于業務數據的數據模型；S3、建立測試用例，對數據倉庫進行測試；S4、記錄測試結果。本專利技術的數據倉庫測試方法，其中步驟S2包括描述測試所采用的數據表及其結構、數據表的使用及在測試過程中對數據表的操作；對數據量的要求可達到PB級(100萬GB)。本專利技術的數據倉庫測試方法，其中步驟S3中，測試用例包括S31、功能測試；S32、性能測試;S33、穩定性測試；S34、可擴展測試；S35、可用性測試；S36、個性化測試。本專利技術的數據倉庫測試方法，其中步驟S31包括S311、測試數據倉庫對SQL標準(Structured Query Language,結構化i咨詢語言)的支持； S312、測試數據倉庫對OLAP函數(Online Analytical Processing聯機分析處理)的支持；S313、測試數據倉庫對多租戶架構下資源負載管理功能；S314、測試數據倉庫對日志、監控和告警系統管理的支持。本專利技術的數據倉庫測試方法，其中步驟S32包括S321、數據加載測試；S322、基本操作測試；S323、即席查詢測試；S324、數據的Rollback (回滾)操作測試；S325、并發多任務測試；S326、數據庫數據導出測試；S327、端到端測試；S328、壓力測試。本專利技術的數據倉庫的性能測試方法，其中步驟S321包括單表數據加載的性能測試和多表數據加載的性能測試。本專利技術的數據倉庫的性能測試方法，其中步驟S322包括 全表掃描測試，用于測試不同記錄數級別的數據表全表掃描查詢性能； 多表關聯測試，用于測試兩個大表通過分區鍵關聯時候的性能表現； Merge (合并)操作測試，用于測試Merge操作的性能； Insert (插入)操作測試,用于測試單表數據的INSERT操作性能； Update (更新)操作測試，用于測試單表update操作性能； Delete (刪除)操作測試，用于測試單表delete操作性能； 嵌套操作測試，用于測試SQL嵌套操作的性能； Distinct (差異)去重測試,用于測試distinct操作的性能及主機、數據庫資源消耗情況。本專利技術的數據倉庫的性能測試方法，其中步驟S323驗證數據倉庫對即席查詢的性能支持，通過執行預先選定的即席查詢的10條SQL語句，記錄每個語句的運行時間和資源消耗情況。本專利技術的數據倉庫的性能測試方法，其中步驟S34包括有索引情況下數據的Rollback性能測試和無索引情況下數據的Rollback性能測試。本專利技術的數據倉庫的性能測試方法，其中步驟S325包括 多任務并發查詢，用于驗證單個用戶下使用相同SQL語句做并發查詢的效率； 多任務并發Insert,用于驗證使用同一用戶做多次并發insert操作的效率； 多任務混合負載，用于驗證在不同類型負載的情況下，數據庫的運行效率及其對服務器資源的消耗； 邊加載邊查詢，用于測試加載操作和查詢操作并行情況下的性能。本專利技術的數據倉庫的性能測試方法，其中步驟S326用于測試數據庫自有的數據導出工具的性能。本專利技術的數據倉庫的性能測試方法，其中步驟S327用于模擬業務的若干個操作 流程，驗證數據倉庫產品的綜合性能表現。本專利技術的數據倉庫的性能測試方法，其中步驟S328測試數據庫在壓力之下的處理能力，驗證數據倉庫產品在處理請求過載下的表現。本專利技術的數據倉庫測試方法，其中步驟S33考察數據倉庫產品在大業務量和長時間高負載的情況下(超出額定工作時間或超出額定負載)持續穩定運行的能力。本專利技術的數據倉庫測試方法，其中步驟S34包括擴展性測試和考察計算節點是否可以收縮。本專利技術的數據倉庫測試方法，其中步驟S35包括模擬常見故障包括網絡連接異常、磁盤存儲故障、節點級故障和極限故障情況下的高可用性測試。本專利技術的數據倉庫測試方法，其中步驟S36包括歸檔壓縮測試、非結構化數據測試、行列安全控制測試、人為誤操作后快速回復、網站購買行為分析測試、訪問軌跡分析測試、分詞統計測試、基于Wiki情感分析測試、運用Kmeans (k-means算法)實現客戶分群測試。實施本專利技術的數據倉庫測試方法，能夠適應當前新架構的數據倉庫，在進行具體測試前，先進行具體的數據倉庫環境設置，針對具體的數據倉庫結構，實施合適的測試用例，使得測試數據倉庫的方法能夠準確、快速的反應待測試數據倉庫的各項特性。以下結合附圖對本專利技術進行詳細說明，其中圖I為本專利技術數據倉庫測試方法的流程圖；圖2為本專利技術數據倉庫測試架構的第一實施例；圖3為本專利技術數據倉庫測試架構的第二實施例；圖4為本專利技術數據倉庫測試架構的第三實施例。具體實施例方式以下結合附圖和具體實施方式對本專利技術進行詳細說明。如圖I所示為本專利技術數據倉庫測試方法的流程圖。對不同架構的數據倉庫進行測試，首先執行步驟SI :確定待測試的數據倉庫環境，即確定具體的數據倉庫的組成架構以及對應的測試架構(例如在圖2至圖4中給出三種具體的數據倉庫架構)；在確定了數據倉庫的具體架構后，對設備域和功能配置進行說明，再對參測硬件配置和參測軟件產品需求的各項要求進行設定。此后，執行步驟S2 :建立基于業務數據的數據模型；具體的，建立測試所采用的數據表及其結構、數據表的使用及在測試過程中對數據表的各項相關操作。這些數據表的結構以及后續的相關操作是對應于步驟SI的具體數據倉庫架構建立的，以確保獲得的測試結果的準確和快速。執行完步本文檔來自技高網...
【技術保護點】
一種數據倉庫測試方法，其特征在于，包括以下步驟：S1、確定待測試的數據倉庫環境；S2、建立基于業務數據的數據模型；S3、建立測試用例，對數據倉庫進行測試；S4、記錄測試結果。
【技術特征摘要】
【專利技術屬性】
技術研發人員：付峰，敖錦蓉，洪松，趙越，舒琴，
申請(專利權)人：中國移動深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。