一種商品關聯大數據稀疏網絡快速聚類方法技術

本發明專利技術公開了一種商品關聯大數據稀疏網絡快速聚類方法，包括以下步驟：對商品銷售記錄數據進行預處理，構建存儲商品關聯大數據稀疏網絡；對商品關聯大數據稀疏網絡進行剪枝；對商品關聯大數據稀疏網絡進行快速聚類，得到聚類結果。本發明專利技術采用單步鏈表結構存儲商品節點間的關系，只標記與商品節點直接相連商品節點的關系，消除共同購買關系矩陣中的冗余空間。本發明專利技術對商品關聯大數據稀疏網絡的低度商品節點進行剪枝提高挖掘效率并提高聚類的精度。本發明專利技術利用高度值商品節點被低度值商品節點分割的思想可以消除傳統聚類算法的制約，直接依據度的值進行判斷，無須考慮數據分布、無須多次訪問數據、無須先驗知識即可完成聚類過程。

【技術實現步驟摘要】

本專利技術屬于大數據處理技術，特別是一種商品關聯大數據稀疏網絡處理方法。
技術介紹
隨著信息系統和信息化建設的全面應用，零售企業在運作管理中產生大量的數據記錄，挖掘這些數據之間的經營視點和市場規律，具有相當大的應用價值。通過研究零售企業的購物交易數據，挖掘商品之間存在的關聯關系和頻繁項目集，可以指導零售企業做出更加科學合理的品類管理、門店布局陳列和商品促銷等運營決策，大幅度提高企業的經營業績。隨著電子商務的快速發展，亞馬遜、京東商城、一號店等電子商務零售企業基于商品關聯性分析，在平臺上提供高品質的商品推薦、關聯促銷和關聯導購等營銷服務，為顧客帶來便利購物體驗的同時，極大地提高了客單價和商品銷售。人們對零售企業購物交易數據的分析，主要可分為兩大類：傳統的關聯規則方法和復雜網絡方法。但這些方法對零售商品交易大數據進行分析時效果都不理想。關聯規則方法具有如下特點：需要多次訪問購物交易數據，由于零售商品交易數據量特別巨大(可稱為大數據)，導致分析挖掘效率特別低下。采用復雜網絡方法對購物交易數據進行挖掘時，需要建立并存儲所有商品的同時購買關聯圖或同時購買關聯矩陣(co-purchasingmatrix)，但由于零售商品品類特別多，相對所有商品而言，任何消費者同時購買商品品類的數量遠遠小于所有商品品類的數量，所以該矩陣為高稀疏矩陣。目前廣泛使用的鄰接矩陣和鄰接鏈表存儲方式用于分析挖掘潛在規律時需要多次訪問數據，所以不適用于零售商品的大數據關聯分析。而面向零售商品關聯大數據稀疏網絡的聚類需要以提高效率為核心，常用的復雜網絡聚類需要預先給出有效的目標函數和最優解搜索策略，搜索過程犧牲效率來提高聚類的精度，不適用于對零售商品關聯大數據稀疏網絡進行聚類。
技術實現思路
為了解決現有技術存在的技術問題，本專利技術要提出一種能夠易于存儲商品網絡高稀疏矩陣且具有高效性能的商品關聯大數據稀疏網絡聚類方法。為了實現上述目的，本專利技術的技術方案如下：一種商品關聯大數據稀疏網絡快速聚類方法，包括以下步驟：A、對商品銷售記錄數據進行預處理，構建存儲商品關聯大數據稀疏網絡A1、令V為商品節點集合，商品節點數目為N，則V＝{v1,v2,…,vi,…,vN本文檔來自技高網...

【技術保護點】
一種商品關聯大數據稀疏網絡快速聚類方法，其特征在于：包括以下步驟：A、對商品銷售記錄數據進行預處理，構建存儲商品關聯大數據稀疏網絡A1、令V為商品節點集合，商品節點數目為N，則V＝{v1,v2,…,vi,…,vN}，vi表示第i種商品節點；A2、依據商品購買記錄，建立商品間共同購買關系的商品關聯大數據稀疏網絡G＝<V,E>，所有商品間共同購買關系邊的集合為E，即E＝{eij}，商品節點vi和vj間的共同購買關系作為邊eij，同時所有商品共同購買關系的矩陣表達形式為(eij)N*N，vj表示第j種商品節點；j＝1,2,…,N；A3、存儲商品節點vi為一個單步鏈表，單步鏈表包含三部分：商品節點vi的序號、商品節點vi的連接度di、指向所有與該商品節點vi相鄰的所有商品節點序號的集合Ωi；商品節點vi的連接度di表示與商品節點vi存在共同購買關系的商品數目，即商品購買關系網絡中與商品節點vi相鄰的商品節點數；獲取Ωi的步驟如下：A31、設定當前商品節點序號j＝1，Ωi＝Φ，Φ為空集；A32、判斷：如果j≤N，則轉到步驟A33，否則轉到步驟A35；A33、判斷：如果商品節點vi和vj相鄰，即存在共同購買關系，則把商品節點vj存入Ωi，否則直接轉入步驟A34；A34、令當前商品節點序號j＝j+1，返回步驟A32；A35、停止得到Ωi；B、對商品關聯大數據稀疏網絡進行剪枝B1、令連接度的閾值為dc；B2、設定當前商品節點序號i＝1；B3、判斷：如果商品節點vi的連接度di≥dc，則轉到步驟B4；否則轉到步驟B5；B4、將商品節點vi放入集合Ψ，Ψ為連接度大于等于dc的商品節點集合；B5、當前商品節點序號i＝i+1；B6、判斷：如果i≤N，則轉到步驟B3；否則轉到步驟B7；B7、停止剪枝，得到剪枝后的商品節點集合Ψ；B8、設定當前商品節點序號i＝1；B9、判斷：如果vi∈Ψ，且vj∈Ωi，從Ωi中刪除vj，j＝1,2,…,N；否則轉到步驟B10；B10、求新的商品節點序號i＝i+1；B11、判斷：如果i≤N，則轉到步驟B9；否則轉到步驟B12；B12、得到剪枝后的商品關聯大數據稀疏網絡G’＝<V’,E’>,V’為剪枝后的商品節點集合，E’為剪枝后邊的集合；C、對商品關聯大數據稀疏網絡進行快速聚類，得到聚類結果C1、設定聚類最終得到類的數目為L，令Cl表示第l個類中的商品節點集合，首先尋找第1個類C1中的商品節點，即當前類的序號l＝1；C2、判斷：如果Ψ≠Φ，Φ為空集，則轉到步驟C3；否則轉到步驟C9；C3、將Ψ中的商品節點按照連接度的值由大到小的順序排列，得到當前連接度最大的商品節點vm；C4、將vm放入Cl中；C5、對Cl中的任意第j個商品節點vj，更新Cl中的商品節點得到新的類Cl*＝Cl∪Ωj；C6、如果Cl*≠Cl，則把Cl*的值賦值給Cl，即Cl＝Cl*，轉到步驟C5；否則轉到步驟C7；C7、令Ψ＝Ψ?Cl；C8、求新的類序號l＝l+1，轉到步驟C2；C9、聚類過程結束，輸出各類中的商品節點。...

【技術特征摘要】
1.一種商品關聯大數據稀疏網絡快速聚類方法，其特征在于：包括以下步驟：A、對商品銷售記錄數據進行預處理，構建...

【專利技術屬性】
技術研發人員：李桃迎，陳燕，張金松，孫爽，張春剛，
申請(專利權)人：大連海事大學，
類型：發明
國別省市：遼寧;21