【技術實現步驟摘要】
本專利技術涉及互聯網算法應用領域，尤其涉及一種id圖譜構建正確的方法、裝置設備及存儲介質。
技術介紹
1、當前的互聯網系統已經實現了一項先進的功能，它通過整合手機號、證件號碼、系統用戶id以及設備id等多種身份信息，并結合精確的業務規則和智能算法，執行id-mapping，從而構建了一個全面的id關聯圖譜。這一圖譜能夠將原本孤立的數據點連接起來，形成一幅數據全景圖，為數據分析和市場營銷等應用場景提供了強大的支持。
2、然而，在實時采集的過程中，仍然存在一些目前未能攻克的問題。首先，在特定場景下，數據丟失的現象時有發生，這可能會影響圖譜的完整性。其次，當數據丟失或圖譜出現錯誤時，由于實時采集的特性，修復這些問題變得相對困難。此外，如果數據采集過程中出現亂序問題，也會導致圖譜構建出現錯誤，進一步影響數據的準確性。最后，一旦id數據在圖譜構建過程中被流水日志清理，將難以追溯其原始來源。
3、因此，為了解決這些問題，提出一種能夠持續優化算法，以提高數據采集的穩定性和準確性，同時增強圖譜的自愈能力，確保即使在數據丟失或錯誤發生時，也能夠快速準確地進行修復是本領域技術人員亟需解決的技術問題。
技術實現思路
1、為此，本專利技術提出一種id圖譜構建正確的方法、裝置設備及存儲介質，通過構建一個更加健壯、可靠的id關聯圖譜，以支持更廣泛的業務需求和數據分析工作。
2、為實現上述目的，第一方面，本專利技術提供一種id圖譜構建正確的方法，包括：
3、實時采
4、通過樂觀鎖機制，將所述每個id數據設置版本號，當發生更新時，所述版本號加1后進行寫入，若遇到沖突，則進行重試；
5、獲取所述id數據過程中，保留id數據在渠道端的父子關系，當父id被搶奪，遷移到新的圖譜下時，對應的子id一并跟隨；
6、設置圖譜修正功能，基于所述修正功能對圖譜進行修正。
7、進一步地，所述修正功能，包括：
8、查詢設定范圍內更新的id信息，遍歷每個id修正是否完成，若完成則結束修正；
9、若未完成，則判斷所述id是否在之前修復id圖譜中，
10、若否則通過所述id的gid查詢圖譜，加入待處理id列表，
11、遍歷數據圖譜判定與父id的gid是否相同；
12、若不同則通過父節點gid查詢父節點圖譜，加入待處理id列表；
13、所述待處理id列表進行去重操作，調用核心構建邏輯，遍歷全部id；
14、若未完成則把gid刷新為生效渠道父節點gid重新遍歷；
15、若完成則將全部節點先按gid分組，在按照相同證件類型進行分組，進行遍歷處理；
16、遍歷結束，將所有被更新節點版權號加1，寫入數據庫；
17、遍歷未結束，id類型只允許1個相同類型，存在多個將渠道可信度低的id挪出，生成新gid寫入，重新遍歷處理。
18、進一步地，所述修正功能，包括：
19、查詢設定范圍內更新的id信息，遍歷每個id修正是否完成，若完成則結束修正；
20、若遍歷未完成，則判斷所述id是否在之前修復id圖譜中，若所述id在修復id圖譜中，則重新遍歷；
21、若所述id不在修復id圖譜中，則通過所述id的gid查詢圖譜，加入待處理id列表，
22、遍歷數據圖譜判斷所述id與父id的gid是否相同，若不同則通過父節點gid查詢父節點圖譜，加入待處理id列表；
23、所述待處理id列表進行去重操作，調用核心構建邏輯，遍歷全部id；
24、若遍歷未完成則把gid刷新為生效渠道父節點gid重新遍歷；
25、若完成則將全部節點先按gid分組，在按照相同證件類型進行分組，進行遍歷處理；
26、遍歷結束，將所有被更新節點版權號加1，寫入數據庫；
27、遍歷未結束，id類型只允許1個相同類型，存在多個將渠道可信度低的id挪出，生成新gid寫入，重新遍歷處理。
28、進一步地，在設定時間從源系統獲取同步數據，進行離線跑批核對，所述離線同步的數據，轉化成kv的形式，數據庫中的id數據，轉化成kv形式，通過統一的數據格式，進行數據比對。
29、第二方面，本專利技術還提供了一種id圖譜構建正確的裝置，包括：排序單元、第一控制單元、第二控制單元、修正單元；
30、所述排序單元：用于實時采集id數據，基于預設規則對數據采集渠道可信度進行排序，根據排序順次授予圖譜修改權限；
31、所述第一控制單元：用于通過樂觀鎖機制，將所述每個id數據設置版本號，當發生更新時，所述版本號加1后進行寫入，若遇到沖突，則進行重試；
32、所述第二控制單元：用于獲取所述id數據過程中，保留id數據在渠道端的父子關系，當父id被搶奪，遷移到新的圖譜下時，對應的子id一并跟隨；
33、所述修正單元：用于設置圖譜修正功能，基于所述修正功能對圖譜進行修正。
34、進一步地，所述修正功能，包括：
35、查詢設定范圍內更新的id信息，遍歷每個id修正是否完成，若完成則結束修正；
36、若未完成，則判斷所述id是否在之前修復id圖譜中，
37、若否則通過所述id的gid查詢圖譜，加入待處理id列表，
38、遍歷數據圖譜判定與父id的gid是否相同；
39、若不同則通過父節點gid查詢父節點圖譜，加入待處理id列表；
40、所述待處理id列表進行去重操作，調用核心構建邏輯，遍歷全部id；
41、若未完成則把gid刷新為生效渠道父節點gid重新遍歷；
42、若完成則將全部節點先按gid分組，在按照相同證件類型進行分組，進行遍歷處理；
43、遍歷結束，將所有被更新節點版權號加1，寫入數據庫；
44、遍歷未結束，id類型只允許1個相同類型，存在多個將渠道可信度低的id挪出，生成新gid寫入，重新遍歷處理。
45、進一步地，所述修正功能，包括：
46、查詢設定范圍內更新的id信息，遍歷每個id修正是否完成，若完成則結束修正；
47、若遍歷未完成，則判斷所述id是否在之前修復id圖譜中，若所述id在修復id圖譜中，則重新遍歷；
48、若所述id不在修復id圖譜中，則通過所述id的gid查詢圖譜，加入待處理id列表，
49、遍歷數據圖譜判斷所述id與父id的gid是否相同，若不同則通過父節點gid查詢父節點圖譜，加入待處理id列表；
50、所述待處理id列表進行去重操作，調用核心構建邏輯，遍歷全部id；
51、若遍歷未完成則把gid刷新為生效渠道父節點gid重新遍歷；
52、若完成本文檔來自技高網...
【技術保護點】
1.一種ID圖譜構建正確的方法，其特征在于，包括：
2.根據權利要求1所述的ID圖譜構建正確的方法，其特征在于，所述修正功能，包括：
3.根據權利要求2所述的ID圖譜構建正確的方法，其特征在于，所述修正功能，包括：
4.根據權利要求1所述的ID圖譜構建正確的方法，其特征在于，在設定時間從源系統獲取同步數據，進行離線跑批核對，所述離線同步的數據，轉化成KV的形式，數據庫中的ID數據，轉化成KV形式，通過統一的數據格式，進行數據比對。
5.一種ID圖譜構建正確的裝置，其特征在于，所述裝置包括：排序單元、第一控制單元、第二控制單元、修正單元；
6.根據權利要求5所述的ID圖譜構建正確的裝置，其特征在于，所述修正功能，包括：
7.根據權利要求6所述的ID圖譜構建正確的裝置，其特征在于，所述修正功能，包括：
8.根據權利要求5所述的ID圖譜構建正確的裝置，其特征在于，在設定時間從源系統獲取同步數據，進行離線跑批核對，所述離線同步的數據，轉化成KV的形式，數據庫中的ID數據，轉化成KV形式，通過統一的數據格式
9.一種計算設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，包括計算機可讀指令，當計算機讀取并執行所述計算機可讀指令時，實現如權利要求1至4中任一項方法，所述可讀介質可以為多個，所述多個可讀介質相互之間能夠獨立運行。
...【技術特征摘要】
1.一種id圖譜構建正確的方法，其特征在于，包括：
2.根據權利要求1所述的id圖譜構建正確的方法，其特征在于，所述修正功能，包括：
3.根據權利要求2所述的id圖譜構建正確的方法，其特征在于，所述修正功能，包括：
4.根據權利要求1所述的id圖譜構建正確的方法，其特征在于，在設定時間從源系統獲取同步數據，進行離線跑批核對，所述離線同步的數據，轉化成kv的形式，數據庫中的id數據，轉化成kv形式，通過統一的數據格式，進行數據比對。
5.一種id圖譜構建正確的裝置，其特征在于，所述裝置包括：排序單元、第一控制單元、第二控制單元、修正單元；
6.根據權利要求5所述的id圖譜...
【專利技術屬性】
技術研發人員：蔡海佳，鄧志洪，李軍剛，郭龍，邱智謀，趙紅亮，
申請(專利權)人：中信銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。