【技術實現步驟摘要】
本申請涉及數據處理領域，具體涉及一種端到端混合專家模型訓練方法、裝置及電子設備。
技術介紹
1、隨著信息技術的快速發展，尤其是人工智能技術在各領域的廣泛應用，數據安全的重要性日益凸顯。在數據安全的應用領域，大型語言模型（llm）如基于saas的安全大模型，其利用基礎模型加上安全領域知識的rag，可以用來解決數據安全問題。
2、目前，安全大模型的saas形式雖然提供了一種便捷的解決方案，但無法實現本地化，導致在處理敏感數據時可能會有安全風險。ner技術雖在市場上已有應用，但其在處理復雜的安全數據時的效果仍不盡人意，準確性較低。此外，雖然本地小模型可以進行定制化使用和快速部署，但這些模型往往缺乏足夠的現場理解力，無法全面應對復雜多變的安全挑戰。安全系統在理解和分析精細化的安全規則時，還是需要大量的行業專家輸入和實時數據處理，展示出現有技術在數據處理的準確性方面存在不足。
3、因此，亟需一種端到端混合專家模型訓練方法、裝置及電子設備。
技術實現思路
1、本申請提供了一種端到端混合專家模型訓練方法、裝置及電子設備，提高了數據安全分析的準確性。
2、在本申請的第一方面提供了一種端到端混合專家模型訓練方法，該方法包括：獲取輸入數據；采用預設傳統規則對所述輸入數據進行分類和信心分級，得到初步分類結果，所述預設傳統規則包括預設數據規則和預設信心閾值，所述預設數據規則為對數據進行分類的規則集合，所述預設信心閾值為判斷分類結果可信程度的閾值；基于預設專家小模型對所述
3、通過采用上述技術方案，通過獲取輸入數據，采用預設傳統規則進行初步分類和信心分級，并基于預設專家小模型進行異常檢測，然后分別將初步分類結果和異常檢測結果輸入預設通識小模型和預設安全領域模型進行分析糾正，再將糾正后的糾正分類結果和糾正異常結果進行融合，并經過人工審核，將最終審核結果作為訓練數據對各個模型進行訓練優化，從而構建了一個端到端的混合專家模型訓練方法。該方法能夠充分結合傳統規則、專家模型、通識模型、安全領域知識以及人工經驗等多方面的能力，對輸入數據進行全面、準確、可靠的分析和判斷，同時通過將人工審核結果反饋到模型訓練中，實現了模型性能的持續提升和優化。這種端到端的混合專家模型訓練方法，能夠顯著提高模型的泛化能力和實際應用效果，在復雜多變的實際場景中體現出強大的適應性。該方法提供的端到端混合專家模型訓練方法通過集成多種模型和處理步驟，有效地提升了數據處理的準確性和安全性。它結合了傳統規則的直觀性、專家模型的深度學習能力以及人工審核的綜合判斷，形成了一個準確度較高、可靠且自適應的數據安全分析系統。
4、可選的，所述采用預設傳統規則對所述輸入數據進行分類和信心分級，得到初步分類結果，具體包括：根據所述預設數據規則，對所述輸入數據進行多維度分析，得到數據分析結果，所述多維度包括數據格式維度、數據類型維度以及數據內容維度；根據所述數據分析結果，對所述輸入數據進行分類，得到分類標簽；計算每個所述分類標簽的置信度，并將所述置信度與所述預設信心閾值進行比較，得到比較結果；根據所述比較結果確定各個所述分類標簽對應的信心等級，得到信心分級結果；根據所述分類標簽和對應的信心分級結果，生成所述初步分類結果。
5、通過采用上述技術方案，通過對輸入數據的格式維度、數據類型維度、數據內容維度等多個維度進行分析，得到數據分析結果，并在此基礎上對數據進行分類和信心分級，能夠充分挖掘數據的內在特征和規律，從而得到更加準確和細粒度的初步分類結果。同時，通過計算分類標簽的置信度并與預設信心閾值進行比較，可以合理評估每個分類結果的可信程度，并據此生成信心等級。將分類標簽和對應的信心等級相結合，能夠更加完整和準確地刻畫初步分類結果的特點，為后續的分析糾正提供重要的參考依據。這種多維度分析和信心分級相結合的方法，能夠最大限度地發揮傳統規則的分類能力，同時也為后續的模型分析提供了有價值的先驗知識和指引。
6、可選的，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果，具體包括：將所述輸入數據輸入所述預設專家小模型的編碼器進行特征編碼，得到編碼特征；基于所述編碼特征，利用所述預設專家小模型的解碼器計算異常分數；將所述異常分數與預設異常閾值進行大小比較；若確定所述異常分數大于所述預設異常閾值，則確定檢測到異常數據，若確定所述異常分數小于或等于所述預設異常閾值，則確定未檢測到異常數據，得到所述異常檢測結果。
7、通過采用上述技術方案，采用預設專家小模型對輸入數據進行異常檢測，能夠充分發揮預設專家小模型在特定領域的專業優勢，從而實現精準、高效的異常識別。通過將輸入數據編碼為特征向量，并借助解碼器計算異常分數，可以定量評估每個數據樣本的異常程度。將異常分數與預設異常閾值進行比較，能夠自動判斷是否檢測到異常數據，并給出明確的檢測結果。這種基于深度學習的異常檢測方法，可以克服傳統規則方法的局限性，在海量、高維、非線性的數據中準確識別出各種未知的異常模式。
8、可選的，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果之前，所述方法還包括：獲取多個領域的歷史樣本數據，所述歷史樣本數據包括異常樣本和正常樣本；對所述歷史樣本數據進行預處理，得到用于訓練transformer模型的訓練數據；構建transformer模型，所述transformer模型包括編碼器和解碼器，所述編碼器用于對輸入數據進行特征提取，所述解碼器用于生成異常檢測結果；以所述訓練數據為輸入，通過預設損失函數訓練所述transformer模型，得到訓練后的transformer模型；將所述訓練后的transformer模型作為所述預設專家小模型。
9、通過采用上述技術方案，在進行預設專家小模型的異常檢測之前，先通過從歷史樣本數據中獲取異常樣本和正常樣本，并進行預處理得到訓練數據，再基于訓練數據構建并訓練transformer異常檢測模型，最終將訓練好的transformer模型作為預設專家小模型，用于實際的異常檢測任務。這種基于歷史數據和端到端訓練的方式，能夠充分利用已有的異常檢測知識和經驗，同時也可以不斷從實際數據中學習和積累新的異常模式。
10、可選的，所述將所述初步分類結果輸入預設通識小模型進行分析糾正，得到糾正分類結果，具體包括：通過所述預設通識小模型對所述初步分類結果進行識別和理解，得到數據理解結果，所述數據理解結果包括意圖識別結果、實體識別結果以及關系抽取結果；基于所述數據本文檔來自技高網...
【技術保護點】
1.一種端到端混合專家模型訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述采用預設傳統規則對所述輸入數據進行分類和信心分級，得到初步分類結果，具體包括：
3.根據權利要求1所述的方法，其特征在于，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果，具體包括：
4.根據權利要求1所述的方法，其特征在于，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果之前，所述方法還包括：
5.根據權利要求1所述的方法，其特征在于，所述將所述初步分類結果輸入預設通識小模型進行分析糾正，得到糾正分類結果，具體包括：
6.根據權利要求1所述的方法，其特征在于，所述將所述異常檢測結果輸入預設安全領域模型進行分析糾正，得到糾正異常結果，具體包括：
7.根據權利要求1所述的方法，其特征在于，所述將所述糾正分類結果和所述糾正異常結果進行融合，得到融合結果，具體包括：
8.一種端到端混合專家模型訓練裝置，其特征在于，所述裝置包括獲取模塊(201)和處理模塊(20
9.一種電子設備，其特征在于，包括處理器(301)、存儲器(305)、用戶接口(303)及網絡接口(304)，所述存儲器(305)用于存儲指令，所述用戶接口(303)和網絡接口(304)用于給其他設備通信，所述處理器(301)用于執行所述存儲器(305)中存儲的指令，以使所述電子設備(300)執行如權利要求1-7任意一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有指令，當所述指令被執行時，執行如權利要求1-7任意一項所述的方法。
...【技術特征摘要】
1.一種端到端混合專家模型訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述采用預設傳統規則對所述輸入數據進行分類和信心分級，得到初步分類結果，具體包括：
3.根據權利要求1所述的方法，其特征在于，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果，具體包括：
4.根據權利要求1所述的方法，其特征在于，所述基于預設專家小模型對所述輸入數據進行異常檢測，得到異常檢測結果之前，所述方法還包括：
5.根據權利要求1所述的方法，其特征在于，所述將所述初步分類結果輸入預設通識小模型進行分析糾正，得到糾正分類結果，具體包括：
6.根據權利要求1所述的方法，其特征在于，所述將所述異常檢測結果輸入預設安全領域模型進行分析糾正，得到糾正異常結果，具體包...
【專利技術屬性】
技術研發人員：楊東冬，
申請(專利權)人：北京安勝華信科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。