【技術實現步驟摘要】
本申請涉及語言康復訓練，尤其是涉及一種基于人工智能的語言康復訓練方法、系統、設備及介質。
技術介紹
1、人工語言康復訓練需要醫生或專業人士一對一進行，患者需要親自到醫療機構、醫生或專業人士稀缺等限制，因此存在成本較高，不方便等缺陷。同時，語言康復訓練的訓練效果依賴于醫生或專業人士經驗。
2、傳統的計算機系統的康復訓練相對人工方式，一定程度上解決了醫生或專業人士稀缺的問題，輕癥病人可以使用軟件系統在家里進行訓練。腦卒中患者語言康復訓練要求個性化設計訓練方案和內容，同時必須定期評估患者的情緒、心理狀態，關注患者心理壓力、焦慮等不良情緒。傳統的計算機系統的康復訓練存在訓練內容固化，只能根據初始評估選擇訓練方案和內容，不能根據訓練效果和反饋實時動態調整訓練內容、訓練方法；不能根據患者出現的新的情況(如，心理狀態和情緒變化、身體狀態、訓練反饋優劣)調整強度和難度。
技術實現思路
1、本申請旨在提出一種基于人工智能的語言康復訓練方法、系統、設備及介質，能夠個性化調整訓練內容，提高語言康復訓練的效率和效果。
2、第一方面，本申請實施例提供了一種基于人工智能的語言康復訓練方法，所述方法包括：
3、獲取初始多模態數據；
4、根據所述初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案；
5、采用所述初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果；
6、從所述語言康復訓練結果中提取語言障礙的信息，
7、采用所述目標訓練語料和所述目標訓練方案對患者進行日常語言康復訓練，并獲取日常語言康復訓練過程中的語音信息和視頻信息；
8、判別所述語音信息的正確結果，并將所述正確結果反饋至終端設備；
9、根據所述語音信息和所述視頻信息，識別患者的心理狀態，得到心理狀態識別結果，并根據所述心理狀態識別結果調整日常語言康復訓練強度。
10、與現有技術相比，本申請第一方面具有以下有益效果：
11、本方法通過獲取初始多模態數據，采用多模態數據能夠更加全面的考察患者的語言康復訓練效果。根據初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案，然后采用初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果，再從語言康復訓練結果中提取語言障礙的信息，并根據語言障礙的信息，調整初始訓練語料和初始訓練方案，得到目標訓練語料和目標訓練方案，通過多次訓練能夠獲得更符合患者情況的訓練語料和訓練方案，解決了采用傳統的計算機系統的康復訓練存在的訓練內容固化的問題。采用目標訓練語料和目標訓練方案對患者進行日常語言康復訓練，并獲取日常語言康復訓練過程中的語音信息和視頻信息，判別語音信息的正確結果，并將正確結果反饋至終端設備，方便患者能夠知道自己的訓練結果，從而保持良好的心態。根據語音信息和視頻信息，識別患者的心理狀態，得到心理狀態識別結果，并根據心理狀態識別結果調整日常語言康復訓練強度，通過識別結果調整日常語言康復訓練強度，實現了個性化調整訓練內容，提高語言康復訓練的效率和效。
12、在一些實施方式中，所述根據所述初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案，包括：
13、將所述初始多模態數據和所述歷史訓練方案輸入生成式人工智能系統，以使所述生成式人工智能系統學習所述歷史訓練方案，根據初始多模態數據生成初始訓練語料和初始訓練方案。
14、在一些實施方式中，所述采用所述初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果，包括：
15、將所述初始訓練語料和初始訓練方案輸入人工智能系統，以使所述人工智能系統輸出與所述初始訓練方案相對應的初始訓練語料至終端；
16、通過終端顯示和播放所述初始訓練語料，以使患者根據顯示和播放的所述初始訓練語料進行語言康復預訓練。
17、在一些實施方式中，所述語言康復訓練結果包括語言康復訓練過程中錄制的全程語音信息，所述從所述語言康復訓練結果中提取語言障礙的信息，并根據所述語言障礙的信息，調整所述初始訓練語料和初始訓練方案，得到目標訓練語料和目標訓練方案，包括：
18、采用預設的語音轉文字模型將所述全程語音信息識別為第一文字信息；
19、將所述第一文字信息與所述初始訓練語料進行文字比對，提取出錯誤的訓練語料作為語言障礙的信息，以及提取出正確的訓練語料；
20、將所述語言障礙的信息和所述正確的訓練語料輸入生成式人工智能系統，以使所述生成式人工智能系統對所述語言障礙的信息和所述正確的訓練語料進行對抗學習，生成目標訓練語料和目標訓練方案。
21、在一些實施方式中，所述判別所述語音信息的正確結果，包括：
22、采用預設的語音轉文字模型將所述語音信息識別為第二文字信息；
23、將所述第二文字信息與所述目標訓練語料進行文字比對，得到所述語音信息對應的正確結果。
24、在一些實施方式中，所述根據所述語音信息和所述視頻信息，識別患者的心理狀態，得到心理狀態識別結果，包括：
25、獲取所述視頻信息中的面部圖像；
26、將所述面部圖像和所述語音信息輸入訓練好的心理狀態識別模型，得到心理狀態識別結果，其中，所述訓練好的心理狀態識別模型包括多個特征提取模塊、特征融合模塊以及狀態識別模塊，通過多組用于訓練的面部圖像和語音信息對所述多個特征提取模塊、所述特征融合模塊以及所述狀態識別模塊進行訓練，得到訓練好的心理狀態識別模型。
27、在一些實施方式中，所述將所述面部圖像和所述語音信息輸入訓練好的心理狀態識別模型，得到心理狀態識別結果，包括：
28、采用第一特征提取模塊對所述面部圖像進行特征提取，得到面部表情特征，以及，采用第二特征提取模塊對所述語音信息進行特征提取，得到語音信息特征；
29、將所述面部表情特征和所述語音信息特征進行特征融合，得到融合特征；
30、將所述融合特征輸入狀態識別模塊進行心理狀態識別，得到心理狀態識別結果。
31、第二方面，本申請實施例還提供了一種基于人工智能的語言康復訓練系統，所述系統包括：
32、數據獲取單元，用于獲取初始多模態數據；
33、數據生成單元，用于根據所述初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案；
34、預訓練單元，用于采用所述初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果；
35、數據獲得單元，用于從所述語言康復訓練結果中提取語言障礙的信息，并根據所述語言障礙的信息，調整所述初始訓練語料和初始訓練方案，得到目標訓練語料和目標訓練方案；
36、康復訓練單元，用于采用所述目標訓練語料和所述目本文檔來自技高網...
【技術保護點】
1.一種基于人工智能的語言康復訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述根據所述初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案，包括：
3.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述采用所述初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果，包括：
4.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述語言康復訓練結果包括語言康復訓練過程中錄制的全程語音信息，所述從所述語言康復訓練結果中提取語言障礙的信息，并根據所述語言障礙的信息，調整所述初始訓練語料和初始訓練方案，得到目標訓練語料和目標訓練方案，包括：
5.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述判別所述語音信息的正確結果，包括：
6.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述根據所述語音信息和所述視頻信息，識別患者的心理狀態，得到心理狀態識別結果，包括：
8.一種基于人工智能的語言康復訓練系統，其特征在于，所述系統包括：
9.一種電子設備，其特征在于，包括至少一個控制處理器和用于與所述至少一個控制處理器通信連接的存儲器；所述存儲器存儲有可被所述至少一個控制處理器執行的指令，所述指令被所述至少一個控制處理器執行，以使所述至少一個控制處理器能夠執行如權利要求1至7任一項所述的基于人工智能的語言康復訓練方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機執行如權利要求1至7任一項所述的基于人工智能的語言康復訓練方法。
...【技術特征摘要】
1.一種基于人工智能的語言康復訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述根據所述初始多模態數據和歷史訓練方案，生成初始訓練語料和初始訓練方案，包括：
3.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述采用所述初始訓練語料和初始訓練方案對患者進行語言康復預訓練，得到語言康復訓練結果，包括：
4.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述語言康復訓練結果包括語言康復訓練過程中錄制的全程語音信息，所述從所述語言康復訓練結果中提取語言障礙的信息，并根據所述語言障礙的信息，調整所述初始訓練語料和初始訓練方案，得到目標訓練語料和目標訓練方案，包括：
5.根據權利要求1所述的基于人工智能的語言康復訓練方法，其特征在于，所述判別所述語音信息的正確結果，包括：
6.根據權利要求1所述的基于人工智能的...
【專利技術屬性】
技術研發人員：李勇剛，何熠，何玄，李隼，
申請(專利權)人：聯通沃悅讀科技文化有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。