【技術實現步驟摘要】
本專利技術屬于人工智能和數據科學，涉及一種基于大模型與結構約束的因果發現方法及相關裝置。
技術介紹
1、大數據時代中，如何從海量數據中發現因果關系，是數據科學中最有可能創造商業價值和進行研究發現的研究領域之一。現有的因果發現方法主要包括基于約束的方法、基于模型的方法和基于價值得分的方法。然而，這些方法在面對高維數據和復雜因果關系時，往往表現出一定的局限性。
2、基于約束的方法依賴于對變量之間條件獨立性的檢驗，識別真實因果圖的馬爾可夫等價類，這類方法在高維數據中容易出現計算復雜性高的問題。基于模型的方法通過對因果模型的分布和函數類施加額外的假設，以識別因果圖中所有邊的方向，然而，這種方法對模型假設的依賴性較強，當假設不符合實際情況時，可能導致錯誤的因果結論。基于價值得分的方法則利用打分函數和搜索策略來尋找最優價值得分的因果圖，但由于搜索空間巨大，優化過程非常耗時。
技術實現思路
1、本專利技術的目的在于克服上述現有技術的缺點，提供一種基于大模型與結構約束的因果發現方法及相關裝置。
2、為達到上述目的，本專利技術采用以下技術方案予以實現：
3、本專利技術第一方面，提供一種基于大模型與結構約束的因果發現方法，包括：獲取文本數據集中各因果變量的元信息；根據各因果變量的元信息，采用大語言模型并結合多輪對話、多角色扮演以及輔助提示詞方式，生成各因果變量的初始潛在因果圖；重復下述步驟至滿足預設條件，輸出價值得分最高的候選因果圖：采用基于編碼器-解碼器架構的策略
4、可選的，所述文本數據集為：生物學數據集、社會學數據集、氣候學數據集或復雜系統故障數據集。
5、可選的，所述因果變量的元信息包括因果變量的變量名稱和描述信息。
6、可選的，所述策略網絡的編碼器采用多頭注意力機制的transformer模型；所述采用基于編碼器-解碼器架構的策略網絡生成候選因果圖包括：通過解碼器在編碼器的兩個輸出之間建立關系，并通過logistic-sigmoid函數處理后使用伯努利分布進行采樣，得到0-1的二元候選圖鄰接矩陣，作為候選因果圖。
7、可選的，所述基于初始潛在因果圖生成的結構約束條件包括：
8、邊約束：
9、f(w，g(wc))＝||w-g(wc)||1，g(wc)＝th*wc
10、其中，w∈{0，1}n×n代表候選因果圖的鄰接矩陣，wc∈{0，1}n×n代表邊約束矩陣，xi和xj代表因果變量，n為因果變量的總數，[wc]ij＝1代表存在邊xi→xj，[wc]ij＝0代表不存在邊f(.)為用于衡量當前鄰接矩陣w與預期結構矩陣g(wc)的偏差值的偏差函數，其中g(wc)為生成的預期結構矩陣，th為預設的閾值常數，||·||1表示矩陣的l1范數，用于衡量矩陣逐元素的絕對偏差。
11、路徑約束：
12、
13、其中，表示第k個路徑圖的約束矩陣；表示第k條路徑關系的閾值函數，thk為第k條路徑的預設閾值常數；||·||1表示l1范數；⊙表示逐元素相乘的操作符；relu(·)為激活函數。
14、順序約束：
15、|||w|⊙wo||1＝0
16、其中，wo為三角矩陣形式的約束矩陣。
17、可選的，所述強化學習算法的獎勵函數使用bic分數、有環性懲罰以及正確路徑作為懲罰項設計，并允許候選因果圖在每次迭代優化中變化多條邊；獎勵函數具體為：
18、reward(w)＝s(w)+β||w||1+a
19、
20、c0(w)＝tr(ew⊙w)＝n1
21、c1(w)＝||relu(g(wc)-|w|⊙wc)||1＝0
22、c3(w)＝||w⊙wc||1＝0
23、
24、其中，s(w)是使用bic分數計算函數，β||w||1為加權正則項，β是正則化超參數，a是用于懲罰因果圖中的循環依賴和路徑約束的附加懲罰項；λx是懲罰項的權重，表示k條路徑關系的閾值函數；⊙表示矩陣逐元素相乘；c2(w)表示路徑約束相關的權重函數；c0(w)表示通過矩陣w的自環權重和無環性約束，w為候選因果圖的鄰接矩陣，w?⊙?w表示矩陣元素對應逐元素平方，ew⊙w對矩陣w⊙w逐元素取指數，tr(·)表示計算矩陣的跡；n1為候選因果圖中節點的總數量；c1(w)表示確保w與先驗邊約束矩陣wc保持一致約束，wc為二值約束矩陣，wc∈{0，1}n×n，wc，ij＝1表示候選因果圖中邊xi→xj存在，wc，ij＝0表示邊不存在；g(wc)表示期望的結構矩陣，relu(·)為激活函數，||·||1是l1范數；c3(w)表示排除無效邊約束，|w|是w的逐元素絕對值矩陣；c4(w)表示局部路徑約束，i表示單位矩陣，表示第q和l路徑上的約束關系矩陣；c5(w)表示拓撲排序約束，[wc]ij表示約束矩陣中節點i→j是否允許存在。
25、可選的，所述價值網絡采用圖注意力網絡；所述根據價值網絡計算迭代優化后的候選因果圖的價值得分包括：通過下式計算迭代優化后的候選因果圖的價值得分v(g)：
26、
27、其中，hi表示迭代優化后的候選因果圖中節點的特征表示，wi和b是學習參數，σ是激活函數，n為迭代優化后的候選因果圖中節點的總數。
28、本專利技術第二方面，提供一種基于大模型與結構約束的因果發現系統，包括：數據獲取模塊，用于獲取文本數據集中各因果變量的元信息；大模型處理模塊，用于根據各因果變量的元信息，采用大語言模型并結合多輪對話、多角色扮演以及輔助提示詞方式，生成各因果變量的初始潛在因果圖；控制模塊，迭代觸發優化模塊和更新模塊至滿足預設條件，輸出價值得分最高的候選因果圖；優化模塊，用于采用基于編碼器-解碼器架構的策略網絡生成候選因果圖，并采用基于actor-critic框架的強化學習算法對候選因果圖進行迭代優化；其中，所述強化學習算法的獎勵函數中引入基于初始潛在因果圖生成的結構約束條件；更新模塊，用于根據價值網絡計算迭代優化后的候選因果圖的價值得分，并根據所述價值得分更新基于編碼器-解碼器架構的策略網絡的參數。
29、本專利技術第三方面，提供一種計算機設備，包括存儲器、處理器及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述基于大模型與結構約束的因果發現方法的步驟。
30、本專利技術第四方面，提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述基于大模型與結構約束的因果發現方法的步驟。
31、與本文檔來自技高網...
【技術保護點】
1.一種基于大模型與結構約束的因果發現方法，其特征在于，包括：
2.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述文本數據集為：生物學數據集、社會學數據集、氣候學數據集或復雜系統故障數據集。
3.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述因果變量的元信息包括因果變量的變量名稱和描述信息。
4.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述策略網絡的編碼器采用多頭注意力機制的Transformer模型；
5.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述基于初始潛在因果圖生成的結構約束條件包括：
6.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述強化學習算法的獎勵函數使用BIC分數、有環性懲罰以及正確路徑作為懲罰項設計，并允許候選因果圖在每次迭代優化中變化多條邊；
7.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述價值網絡采用圖注意力網絡；
9.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7任一項所述基于大模型與結構約束的因果發現方法的步驟。
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述基于大模型與結構約束的因果發現方法的步驟。
...【技術特征摘要】
1.一種基于大模型與結構約束的因果發現方法，其特征在于，包括：
2.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述文本數據集為：生物學數據集、社會學數據集、氣候學數據集或復雜系統故障數據集。
3.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述因果變量的元信息包括因果變量的變量名稱和描述信息。
4.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述策略網絡的編碼器采用多頭注意力機制的transformer模型；
5.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于，所述基于初始潛在因果圖生成的結構約束條件包括：
6.根據權利要求1所述的基于大模型與結構約束的因果發現方法，其特征在于...
【專利技術屬性】
技術研發人員：朱海萍，李文浩，籍偉華，田鋒，
申請(專利權)人：西安交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。