【技術實現步驟摘要】
本專利技術涉及人工智能，特別是涉及一種場景適配的數字人行為預測方法、設備和存儲介質。
技術介紹
1、隨著人工智能技術的飛速發展，數字人技術已成為當前研究的熱點。數字人是借助數字技術構建，模擬人類特征且存在于非物理世界的虛擬人物。它們借助自然語言處理、人臉識別、語音識別等技術實現與用戶的智能交互，在虛擬主播客戶服務、在線教育等諸多領域被廣泛應用。
2、目前，現有的數字人行為預測技術主要包含基于規則的模型和傳統的機器學習模型等。基于規則的模型往往需要人工設定大量規則，例如在虛擬主播場景下，針對觀眾不同的提問類型設定回復規則。但這種方式在面對復雜多變的用戶行為時，由于規則難以窮舉，導致其預測精度較低。傳統的機器學習模型，如決策樹模型，在客戶服務場景中，可能因對不同客戶群體的特殊需求理解不足，在預測數字人行為時出現偏差。而且這些現有技術大多是基于單一場景或簡單行為模式開發的，缺乏對不同場景的深度理解和適應性這就導致在實際應用中數字人的行為預測精度不高，難以提供智能和人性化的服務。
技術實現思路
1、本專利技術旨在至少解決現有技術中存在預測精度不高的技術問題，特別創新地提出了一種場景適配的數字人行為預測方法、設備和存儲介質。
2、為了實現本專利技術的上述目的，本專利技術提供了一種場景適配的數字人行為預測方法，所述方法包括：
3、s1、采集多模態用戶交互數據，并對所述多模態用戶交互數據進行預處理；所述多模態用戶交互數據包括文本數據、語音數據和圖像數據；>
4、s2、基于預訓練的多模態特征提取模型獲取所述多模態用戶交互數據中的多模態特征向量；
5、s3、基于所述多模態特征向量利用預訓練的場景識別模型獲取場景識別結果，基于所述場景識別結果利用行為預測模型對數字人行為進行預測，獲得數字人行為預測結果；
6、s4、基于所述數字人行為預測結果，引入遷移學習機制優化所述行為預測模型：
7、s5、實時收集用戶反饋信息，基于所述用戶反饋信息，對所述預測模型進行迭代更新。
8、作為本專利技術的一種可選實施例，可選地，在步驟s2中獲取所述多模態用戶交互數據中的多模態特征向量包括：
9、s101、基于預訓練的bert模型提取所述文本數據中的語義特征；
10、s102、基于語音識別模型將所述語音數據轉換為文本，并提取情感特征；
11、s103、基于人臉識別模型提取圖像數據中的視覺特征；
12、s104、基于注意力機制融合所述語義特征、取情感特征和視覺特征，獲得多模態特征向量。
13、作為本專利技術的一種可選實施例，可選地，在步驟s104中獲得多模態特征向量的表達式為：
14、
15、
16、其中，表示映射后的語義特征向量，wt表示語義特征的權重矩陣，t表示語義特征，bt表示語義特征的偏執向量，表示映射后的情感特征向量，wa表示情感特征的權重矩陣，a表示情感特征，ba表示情感特征的偏執向量，表示映射后的視覺特征向量，wv表示視覺特征的權重矩陣，v表示視覺特征，bv表示視覺特征的偏執向量，αt表示語義特征的注意力權重，exp(?)表示指數函數，和均表示權重向量，b′t、b′a和b′v表示和對應的偏置項，f表示融合后的多模態特征向量。
17、作為本專利技術的一種可選實施例，可選地，在步驟s3中獲得數字人行為預測結果包括：
18、s301、采集數字人歷史行為數據，并將歷史行為數據按照時間序列進行排序，獲得時間序列數據集；
19、s302、提取所述時間序列數據集中數字人行為相關特征；
20、s303、基于所述行為相關特征獲取數字人行為趨勢；
21、s304、基于所述行為趨勢和場景識別結果，利用訓練好的所述行為預測模型對數字人行為進行預測，獲得數字人行為預測概率分布；
22、s305、基于所述數字人行為預測概率分布，選取概率最大的行為作為所述數字人行為預測結果。
23、作為本專利技術的一種可選實施例，可選地，所述基于所述行為相關特征獲取數字人行為趨勢的表達式為：
24、dt＝η·mt+β·st+γ·et
25、mt＝λ·(yt-yt-1)+(1-λ)·mt-1
26、
27、
28、其中，dt表示行為趨勢，η、β和γ表示均權重系數，mt表示時間t時行為變化的動量，st表示行為的季節性變化，et表示外部因素對行為的影響，λ表示動量平滑因子，yt表示時間t時的數字人行為標簽，yt-1時間t-1時的數字人行為標簽，mt-1時間t-1時行為變化的動量，k表示季節性周期的長度，φk表示季節性權重系數，yt-k·p表示時間t-k·p時的行為標簽，p表示季節性周期的基本單位，n表示外部影響因素的數量，θi表示第i個外部影響因素的權重系數，ei,t表示時間t時第i個外部影響因素的值。
29、作為本專利技術的一種可選實施例，可選地，在步驟s04獲得數字人行為預測概率分布的表達式為：
30、pt＝f(dt,ht)
31、pt＝softmax(wo·ht+bo)
32、ht＝σ(wh·[dt；ht]+bh)
33、其中，pt表示時間t時數字人可能采取的各種行為的概率分布，f(?)表示行為預測模型，dt表示行為趨勢，ht表示時間t時的場景識別結果，softmax(?)表示激活函數，wo表示輸出層的權重矩陣，ht表示時間t時的隱藏層輸出，bo表示輸出層的偏置向量，σ(?)表示relu函數，wh表示隱藏層的權重矩陣，[；]表示拼接操作，bh隱藏層的偏置向量。
34、作為本專利技術的一種可選實施例，可選地，在步驟s4中引入遷移學習機制優化所述行為預測模型包括：
35、s401、基于歷史預測數據和當前預測數據的差異，獲得行為預測模型性能的偏差；
36、s402、基于所述性能偏差，選擇遷移學習策略；
37、s403、應用所述遷移學習策略，調整所述行為預測模型的參數或結構；
38、s404、評估遷移學習后的所述行為預測模型性能，基于評估結果判斷所述行為預測模型性能是否提升；
39、若是，則保存遷移學習后的模型參數；
40、若否，則返回步驟s402重新選擇所述遷移學習策略，直至找到最優的遷移學習策略。
41、作為本專利技術的一種可選實施例，可選地，在步驟s5中基于所述用戶反饋信息，對所述預測模型進行迭代更新包括：
42、s501、采集用戶在實際使用中的行為反饋數據，所述行為反饋數據包括用戶滿意度、行為糾正次數和行為預測準確性；
43、s502、基于所述行為反饋數據，計算所述行為預測模型的性能指標；
44、s503、判斷所述性能指標是否滿足預設閾值；
45、若滿足，則保持當前所述行為預測模型參數不變；
<本文檔來自技高網...【技術保護點】
1.一種場景適配的數字人行為預測方法，其特征在于，所述方法包括：
2.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S2中獲取所述多模態用戶交互數據中的多模態特征向量包括：
3.如權利要求2所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S104中獲得多模態特征向量的表達式為：
4.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S3中獲得數字人行為預測結果包括：
5.如權利要求4所述的一種場景適配的數字人行為預測方法，其特征在于，所述基于所述行為相關特征獲取數字人行為趨勢的表達式為：
6.如權利要求4所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S04獲得數字人行為預測概率分布的表達式為：
7.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S4中引入遷移學習機制優化所述行為預測模型包括：
8.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟S5中基于所述用戶反饋信息，對所述預測模型進
9.一種計算機設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，包括：
...【技術特征摘要】
1.一種場景適配的數字人行為預測方法，其特征在于，所述方法包括：
2.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟s2中獲取所述多模態用戶交互數據中的多模態特征向量包括：
3.如權利要求2所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟s104中獲得多模態特征向量的表達式為：
4.如權利要求1所述的一種場景適配的數字人行為預測方法，其特征在于，在步驟s3中獲得數字人行為預測結果包括：
5.如權利要求4所述的一種場景適配的數字人行為預測方法，其特征在于，所述基于所述行為相關特...
【專利技術屬性】
技術研發人員：周舜，張鵬，
申請(專利權)人：杭州數智時空科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。