【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，特別是涉及一種基于常識推理的文本情緒深層原因識別方法及裝置。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多帶有主觀情緒的文本數(shù)據(jù)產(chǎn)生，譬如電商領(lǐng)域的評論數(shù)據(jù)，心理咨詢領(lǐng)域的對話數(shù)據(jù)等。這些情緒是一系列由感覺、認(rèn)知、思想和行為等多種因素綜合產(chǎn)生的身心狀態(tài)。這種帶有情緒的文本蘊(yùn)含著豐富的主觀知識，反映著人們的喜好與感受。挖掘這些偏好知識具有重要的價值。決策者從現(xiàn)象中看到本質(zhì)，實(shí)現(xiàn)從“知其然”到“知其所以然”，解決根源原因的問題。譬如在對話系統(tǒng)中，通過分析用戶在對話表達(dá)中蘊(yùn)含的情感和原因，機(jī)器可以生成更契合的回復(fù)；對于產(chǎn)品或服務(wù)運(yùn)營，企業(yè)可以通過分析評論數(shù)據(jù)中用戶的情緒和誘發(fā)的內(nèi)在原因，準(zhǔn)確把握用戶的真實(shí)體驗(yàn)和需求。這有利于明確改進(jìn)和優(yōu)化方向，推出更符合消費(fèi)者預(yù)期的產(chǎn)品和服務(wù)。
2、針對情緒原因發(fā)現(xiàn)的問題，現(xiàn)有工作大多只關(guān)注激發(fā)情緒的淺層原因上，對深層原因的研究很薄弱。此處的“淺層”和“深層”指語義的認(rèn)知程度。淺層原因一般指出現(xiàn)在文本字面上的情緒原因或者事件，人們可以直接提取原因事件所在的句子，或通過“導(dǎo)致”“由于”等線索詞從文本中抽取某些片段作為原因。譬如針對文本“小明由于考試不及格，很傷心。”可以抽取文本片段獲得負(fù)面情緒的原因是“考試不及格”。這些方法可以識別表層的簡單原因。然而，情緒的表達(dá)多樣且復(fù)雜，有些情緒原因比較模糊和隱晦。如圖1所示，針對文本“最近買了這款雜牌手機(jī)真鬧心，打個電話’請問問....你你...是是....等等....等等....’。電話給客服，她說可以嘗試把手機(jī)放在一個更高的
3、在學(xué)術(shù)領(lǐng)域，傳統(tǒng)方法研究情感原因的獨(dú)立提取，或者情感-原因?qū)Φ穆?lián)合提取。其中情感原因提取任務(wù)指從給定文本中抽取情緒相關(guān)的片段或詞組作為原因；情緒-原因?qū)Φ奶崛∪蝿?wù)一般是子句級的抽取，旨在從給定文檔中抽取一系列具有因果關(guān)系的句子，以此作為情緒-原因?qū)ΑＨ欢@兩類工作都屬于淺層的情感識別。據(jù)了解，目前沒有對深層情感原因發(fā)現(xiàn)的研究。
4、針對情緒原因發(fā)現(xiàn)，傳統(tǒng)技術(shù)可以歸納為三類，分別為基于原因觸發(fā)詞的規(guī)則方法、基于統(tǒng)計的機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法。其中第一類方法，人們在經(jīng)驗(yàn)指導(dǎo)下通過觀察數(shù)據(jù)的語言特征來構(gòu)建規(guī)則集，進(jìn)而抽取情緒表達(dá)及其原因。而統(tǒng)計方法主要通過情感原因相關(guān)的特征工程，將情感原因提取問題看作是文本分類或序列標(biāo)注問題來提取情感原因。此類方法一般先假定觸發(fā)情感的原因是一個或者一系列的事件，情感原因就在情感詞附近。一般的流程如下，先找出一段話中有意義的實(shí)詞，然后確定分類的特征，比如事件特征、語言學(xué)特征、距離特征、詞法特征等，最后利用這些特征完成情感原因的分類或序列標(biāo)注。隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域中的廣泛應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)的方法從2017年開始被應(yīng)用于文本情感原因提取。其一般過程為：首先將詞映射到向量空間中；其次通過神經(jīng)網(wǎng)絡(luò)模型來對文本特征進(jìn)行自動提取；最后使用softmax函數(shù)計算最大的概率提取情感原因。現(xiàn)有的深度提取模型包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)、門控循環(huán)網(wǎng)絡(luò)、transformer、圖卷積網(wǎng)絡(luò)等，通過組合、變形、融合注意力機(jī)制等方式來構(gòu)造更復(fù)雜高效的模型。此外，還有研究通過多任務(wù)學(xué)習(xí)框架將情感分類與情感原因抽取任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)，或者引入子句相對位置信息、外部知識與外部情感詞匯等來提升情緒原因識別的性能。在上述方法中，規(guī)則法一般識別目標(biāo)是文本中的一段短語，規(guī)則通常包含詞匯特征或語義特征。但受限于規(guī)則的有限性，覆蓋度和完備度不足。統(tǒng)計法一般立足于特征工程，同時依賴大規(guī)模訓(xùn)練數(shù)據(jù)，因此缺點(diǎn)在于過度依賴特征的選取。這些特征通常需要人工設(shè)計，可擴(kuò)展性弱，難以處理復(fù)雜的語義信息和語句之間的邏輯。深度學(xué)習(xí)方法仍處于識別并抽取表面原因事件的階段，缺乏發(fā)現(xiàn)隱式或深層的原因的機(jī)制，且推理能力方面仍較弱。
5、在專利領(lǐng)域，目前缺乏在識別情感深層原因的技術(shù)。已有工作主要集中在抽取淺層原因上。cn113486657a通過在詞編碼表示階段融合外部知識來輔助情感原因?qū)Φ某槿 Ｓ捎趯χR利用的不充分，對子句之間的因果關(guān)系的判斷力仍不強(qiáng)。cn113505583a和cn114065769b分別使用語義決策圖神經(jīng)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)來抽取情感原因子句；cn114357164a使用了融合高斯先驗(yàn)的注意力模塊對情感原因?qū)M(jìn)行抽取，但方法對情感子句集和原因子句集應(yīng)用笛卡爾積進(jìn)行組合，導(dǎo)致計算成本較高效率較低；cn113988048a提出利用帶有反思機(jī)制的多輪機(jī)器閱讀理解方法來驗(yàn)證提取的情感原因?qū)Γ瑴p少噪音。然而，這些方法都適合識別淺層原因。通過序列標(biāo)注或者分類的方式等方式，從給定的文本中抽取片段或句子作為原因。對于情感原因的識別停留在文字表面原因，忽視了這些表面原因事件中蘊(yùn)含著與情緒產(chǎn)生更具備因果邏輯關(guān)系深層原因。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是提供一種基于常識推理的文本情緒深層原因識別方法及裝置，用于發(fā)現(xiàn)蘊(yùn)含在文本語義中的情緒深層原因。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種基于常識推理的文本情緒深層原因識別方法，包括：
3、s1、首先對文本中的句子提取出潛在情感子句和潛在原因子句，再通過將子句作為節(jié)點(diǎn)，子句間的依存關(guān)系作為邊，分別構(gòu)建情感子句圖和原因子句圖；對于情感子句圖和原因子句圖中的每個節(jié)點(diǎn)，先檢索出常識，將檢索出的常識通過新增為對應(yīng)節(jié)點(diǎn)的鄰接知識節(jié)點(diǎn)來擴(kuò)展原圖，得到擴(kuò)展后的情感子句圖和原因子句圖；
4、s2、對于擴(kuò)展后的情感子句圖和原因子句圖，通過多層的圖注意力層的計算更新了節(jié)點(diǎn)，在計算過程中為節(jié)點(diǎn)表征融入了子句上下文的信息以及其對應(yīng)外部常識知識的信息，得到更新后的情感子句圖和原因子句圖；
5、s3、對更新后的情感子句圖和原因子句圖，先篩選出各自用于組合配對的節(jié)點(diǎn)，然后將篩選出的情感子句圖的節(jié)點(diǎn)與原因子句圖的節(jié)點(diǎn)進(jìn)行配對，得到多個候選情感-原因組合；在得到一個候選情感-原因組合后，將該候選組合的情感子句圖節(jié)點(diǎn)與原因子句圖節(jié)點(diǎn)在圖結(jié)構(gòu)中的隱層向量表示進(jìn)行拼接，得到該候選組合的聯(lián)合表示向量；接著對候選情感-原因組合進(jìn)行多頭注意力交互計算，計算得出的相關(guān)度最高的情感-原因向量組合；對相關(guān)度最高的情感-原因向量組合對向量進(jìn)行解碼，獲得深層本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于常識推理的文本情緒深層原因識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟S1中，先對文本中的句子進(jìn)行預(yù)處理分詞，并將得到的詞匯在情感詞典SentiWordNet中檢索，把詞匯出現(xiàn)在情感詞典SentiWordNet中的子句視為潛在情感子句，得到潛在情感子句集合并將文本中的全部句子都視為潛在原因子句，得到潛在原因子句集合
3.根據(jù)權(quán)利要求2所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，使用預(yù)訓(xùn)練模型RoBERTa對文本中的所有子句進(jìn)行編碼，目的是得到每個子句ci的向量表征vi，以便更好地理解和處理自然語言。在輸入RoBERTa前，在子句的前部和后部分別加入特殊字符[CLS]和[SEP]以標(biāo)記句子的開始和結(jié)束，每個子句表示為其中，wi表示子句中的詞。
4.根據(jù)權(quán)利要求3所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，當(dāng)為一個子句生成常識知識時，將該子句替換占位符，由此作為提示輸入GPT大模型，通過采樣可得到該子句的一組常識描述K＝{k1,k2,...,
5.根據(jù)權(quán)利要求4所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟S1中，使用COMET模型從知識庫中檢索與每個子句相關(guān)的常識；對于原因子句圖，使用4種與因果相關(guān)的類型：xIntend、xWant、xNeed、xEffect，其中，xIntend描述了行為背后的意圖或目的；xEffect描述了事件或行為導(dǎo)致的影響；xWant代表一個人想要實(shí)現(xiàn)的目標(biāo)或愿望；xNeed代表某人的需要或要求；對于情感子句圖，使用3種與情感表達(dá)相關(guān)的類型：xReact、oReact、xAttr，其中，xReact代表自己或他人對事件的感受和反應(yīng)；xAttr代表屬性或特質(zhì)。
6.根據(jù)權(quán)利要求5所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，對新增知識節(jié)點(diǎn)中COMET生成的知識進(jìn)行情緒識別，按照情緒類別將知識進(jìn)行劃分，然后挑選出與文檔中的情緒類別相符的知識，將情緒映射為情感極性，使用情感詞典SentiWordNet來進(jìn)行情感分?jǐn)?shù)計算，
7.根據(jù)權(quán)利要求6所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟S2中，對于原因子句圖，擴(kuò)展后的原因字句圖的節(jié)點(diǎn)數(shù)量n為原文檔子句數(shù)量與所有節(jié)點(diǎn)新增鄰接知識節(jié)點(diǎn)之和，
8.根據(jù)權(quán)利要求7所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟S3中，情感子句圖和原因子句圖的節(jié)點(diǎn)篩選規(guī)則如下：
9.根據(jù)權(quán)利要求8所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟S3中，候選組合的聯(lián)合表示向量為
10.一種基于常識推理的文本情緒深層原因識別裝置，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于常識推理的文本情緒深層原因識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟s1中，先對文本中的句子進(jìn)行預(yù)處理分詞，并將得到的詞匯在情感詞典sentiwordnet中檢索，把詞匯出現(xiàn)在情感詞典sentiwordnet中的子句視為潛在情感子句，得到潛在情感子句集合并將文本中的全部句子都視為潛在原因子句，得到潛在原因子句集合
3.根據(jù)權(quán)利要求2所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，使用預(yù)訓(xùn)練模型roberta對文本中的所有子句進(jìn)行編碼，目的是得到每個子句ci的向量表征vi，以便更好地理解和處理自然語言。在輸入roberta前，在子句的前部和后部分別加入特殊字符[cls]和[sep]以標(biāo)記句子的開始和結(jié)束，每個子句表示為其中，wi表示子句中的詞。
4.根據(jù)權(quán)利要求3所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，當(dāng)為一個子句生成常識知識時，將該子句替換占位符，由此作為提示輸入gpt大模型，通過采樣可得到該子句的一組常識描述k＝{k1,k2,...,k10}；考慮到這些描述可能含有噪音，通過點(diǎn)互信息pmi來過濾，點(diǎn)互信息pmi可以計算子句vi和每個描述k之間的相關(guān)性，參考公式(1)，
5.根據(jù)權(quán)利要求4所述的基于常識推理的文本情緒深層原因識別方法，其特征在于，在步驟s1中，使用comet模型從知識庫中檢索與每個子句相...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：余建興，郭秋彤，林妙培，甘夢嬌，印鑒，
申請(專利權(quán))人：中山大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。