基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法技術

本發明專利技術公開一種基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，包括如下步驟：(1)構建論元和篇章關系的嵌入層；(2)篇章論元的表示學習；(3)構建注意力機制增強的表示學習；(4)構建句子翻譯嵌入模塊(Translating Sentence Embedding，TransS)；(5)構建篇章關系識別模塊；(6)構建互激勵機制；該方法首先利用論元對?關系嵌入層得到論元對和關系的嵌入向量，進而通過論元對?關系編碼層和引入注意力機制建模論元對和關系的分布式表示，最后通過TransS和關系識別模塊間的相互引導，優化表示參數，提升關系識別性能。

An implicit text relation recognition method based on transs driven mutual excitation neural network

【技術實現步驟摘要】
基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法
本專利技術涉及自然語言處理中篇章分析
，尤其是涉及篇章關系識別技術，具體為一種基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法。
技術介紹
篇章關系描述了兩個相鄰的文本單元(例如，從句，句子和較大的句子組)如何在邏輯上彼此連接，通常被定義為帶有兩個論元的連詞(分別為Arg1和Arg2)。顯式篇章關系可以很容易被識別出來，其精度約為94％，而隱式篇章關系識別則沒有顯式連接詞。因此隱式篇章關系識別仍然是一個具有挑戰性的問題，其需要從特定上下文進行關系推斷。隱式篇章關系識別有利于許多流行自然語言處理(NaturalLanguageProcessing,NLP)應用，如機器翻譯、文本摘要、對話系統等。現有的神經網絡模型在識別隱式篇章關系方面取得了一定的成功：(1)基礎神經網絡可以學習到篇章論元的密集向量表示，在一定程度上可以捕獲語義信息，如卷積神經網絡(ConvolutionalNeuralNetwork,CNN)和循環神經網絡(RecurrentNeuralNetwork,RNN)[1-3]；(2)進一步的研究利用了不同的注意力或記憶機制捕獲論元對的重要信息[4,5]；(3)復雜神經模型利用門控關聯網絡或神經張量網絡來捕獲兩個篇章論元之間更深層次的交互信息[6-8]。盡管它們獲取了論元的關鍵信息和兩個論元之間的交互信息，但仍然存在以下不足：·忽略了對論元中有效語義信息的選擇；·沒有充分利用語料已標注關系信息來探究論元對-關系的特征；·分開研究論元表示和關系識別，忽略了它們之間的相互激勵作用。實體翻譯嵌入模型(TransE)是預測知識圖譜中實體之間缺失關系的一種有效方法，通過把實體關系解釋為實體在低維向量空間中的翻譯操作來建模關系[9]，即如果(he,le,te)成立，則符合尾實體向量te應該接近于頭實體向量he加上關系向量le，但是并沒有在句子級別上得到有效地應用。
技術實現思路
本專利技術的目的是為了克服現有技術中的不足，提供一種基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，該方法為了更好進行隱式篇章關系識別，構建了基于TransS驅動的互激勵神經網絡。其中，句子翻譯嵌入模塊(TranslatingSentenceEmbedding,TransS)和關系識別模塊相互激勵、相互指導。該方法首先利用論元對-關系嵌入層得到論元對和關系的嵌入向量，進而通過論元對-關系編碼層和引入注意力機制建模論元對和關系的分布式表示，最后通過TransS和關系識別模塊間的相互引導，優化表示參數，提升關系識別性能。本專利技術的目的是通過以下技術方案實現的：基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，包括如下步驟：(1)構建論元和篇章關系的嵌入層；篇章論元對(Arg1,Arg2)與其對應的篇章關系分別表示為詞向量序列和詞向量，然后通過單詞的逐一映射，得到兩個篇章論元的向量矩陣，以及其對應篇章關系的低維分布式表示；(2)篇章論元的表示學習；將篇章論元Arg1、Arg2的向量表示分別作為正向長短期記憶網絡(LongShort-TermMemory,LSTM)層和反向LSTM層，即雙向LSTM神經網絡(BidirectionalLongShort-TermMemory,BiLSTM)的輸入，編碼得到兩個篇章論元的抽象表示；(3)構建注意力機制增強的表示學習；利用注意力機制捕獲篇章論元中重要的詞匯信息，將捕獲到的重要詞匯信息融入基本的表示學習中，以加深對篇章論元的語義理解，從而獲取融合重要信息的篇章論元表示；(4)構建句子翻譯嵌入模塊(TranslatingSentenceEmbedding，TransS)；TransS將篇章論元之間的語義關系翻譯到低維向量空間，并得到篇章論元對及其關系之間的幾何結構；同時，TransS模塊所保留的幾何結構信息能夠作為篇章關系識別的指導；(5)構建篇章關系識別模塊；將TransS模塊所得的包含幾何結構信息的論元表示輸入篇章關系識別模塊，并為TransS模塊提供已學到的篇章關系語義信息，以幫助TransS模塊更好地學習論元表示；(6)構建互激勵機制；TransS和篇章關系識別兩個模塊的互相激勵、互相指導，共同優化單詞表示，可以更好地學習新的融合幾何結構信息的篇章論元表示，以提高篇章關系識別能力。進一步的，步驟(1)中具體如下：實現單詞的嵌入，捕捉單詞的內在屬性，即將語料詞表中所有單詞與預訓練所得的低維、連續詞向量表示對應起來，得到語料中所有單詞的向量表示；將篇章論元對以及其對應的篇章關系轉化為向量表示；在形式上將嵌入層看作是一個投影層，其中單詞嵌入根據索引進行查找表操作實現，即將索引轉換為固定大小的稠密向量；從而獲取兩個篇章論元的向量矩陣，以及其對應篇章關系的低維分布式表示。進一步的，步驟(2)具體包括：通過LSTM對單詞序列進行建模；對于第t個時間步，LSTM讀取單詞xt作為輸入，ht作為輸出，具體公式如下：ht＝ot⊙tanh(ct)(17)其中，it,ft,ot,ct,ht分別表示輸入門、遺忘門、輸出門、存儲單元和隱藏狀態；TA,b是依賴于網絡參數的映射變換矩陣；ct-1表示上一時刻(t-1)的存儲單元狀態，是當前時刻存儲單元到即時狀態，ht-1表示t-1時刻的隱藏層狀態；σ表示sigmoid函數，雙曲正切函數tanh是在t-1時刻作用于ht-1和TA,b上的激活函數，⊙表示元素乘積；利用雙向LSTM神經網絡(BidirectionalLongShort-TermMemory,BiLSTM)對論元序列進行建模；BiLSTM通過正向和反向兩個單獨的LSTM保存歷史和未來信息；得到在序列的每個時間步長t處的兩個表示和后將它們拼接在一起作為句子向量表示進一步的，步驟(3)具體包括：引入注意力控制機制捕獲到對關系識別有幫助的詞匯，忽略對關系識別不重要的詞匯，將關注重點放在包含重要信息的詞匯上以增強篇章論元對的語義理解，更有效地學習包含重要信息的表示；M＝tanh(H)(18)α＝softmax(wTM)(19)公式(4)中，H是由輸出向量[h1,h2,...,hn]組成的矩陣，其中n是論元的長度，即每個論元所包含的單詞數量，d表示單詞的維度，H經過雙曲正切函數tanh函數而得到隱藏層狀態向量表示矩陣M；公式(5)中，w表示權重參數向量；softmax函數將加權的隱藏層狀態向量表示矩陣M轉化為概率分布，稱為每個單詞的注意力值；公式(6)中，是由輸出向量進行加權求和計算得到的新的論元向量表示，α的轉置αT作為輸出向量的權重；最后，根據公式(7)對上一步結果加入激活函數tanh，從而獲取體現出其自身重要信息的篇章論元表示h*。進一步的，步驟(4)具體包括：TransS通過將論元對及其關系在低維向量空間中的位置信息進行建模，捕本文檔來自技高網...

【技術保護點】
1.基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，其特征在于，包括如下步驟：/n(1)構建論元和篇章關系的嵌入層；篇章論元對(Arg1,Arg2)與其對應的篇章關系分別表示為詞向量序列和詞向量，然后通過單詞的逐一映射，得到兩個篇章論元的向量矩陣，以及其對應篇章關系的低維分布式表示；/n(2)篇章論元的表示學習；將篇章論元Arg1、Arg2的向量表示分別作為正向長短期記憶網絡(Long Short-Term Memory,LSTM)層和反向LSTM層，即雙向LSTM神經網絡(Bidirectional Long Short-Term Memory,BiLSTM)的輸入，編碼得到兩個篇章論元的抽象表示；/n(3)構建注意力機制增強的表示學習；利用注意力機制捕獲篇章論元中重要的詞匯信息，將捕獲到的重要詞匯信息融入基本的表示學習中，以加深對篇章論元的語義理解，從而獲取融合重要信息的篇章論元表示；/n(4)構建句子翻譯嵌入模塊(Translating Sentence Embedding，TransS)；TransS將篇章論元之間的語義關系翻譯到低維向量空間，并得到篇章論元對及其關系之間的幾何結構；同時，TransS模塊所保留的幾何結構信息能夠作為篇章關系識別的指導；/n(5)構建篇章關系識別模塊；將TransS模塊所得的包含幾何結構信息的論元表示輸入篇章關系識別模塊，并為TransS模塊提供已學到的篇章關系語義信息，以幫助TransS模塊更好地學習論元表示；/n(6)構建互激勵機制；TransS和篇章關系識別兩個模塊的互相激勵、互相指導，共同優化單詞表示，可以更好地學習新的融合幾何結構信息的篇章論元表示，以提高篇章關系識別能力。/n...

【技術特征摘要】
1.基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，其特征在于，包括如下步驟：
(1)構建論元和篇章關系的嵌入層；篇章論元對(Arg1,Arg2)與其對應的篇章關系分別表示為詞向量序列和詞向量，然后通過單詞的逐一映射，得到兩個篇章論元的向量矩陣，以及其對應篇章關系的低維分布式表示；
(2)篇章論元的表示學習；將篇章論元Arg1、Arg2的向量表示分別作為正向長短期記憶網絡(LongShort-TermMemory,LSTM)層和反向LSTM層，即雙向LSTM神經網絡(BidirectionalLongShort-TermMemory,BiLSTM)的輸入，編碼得到兩個篇章論元的抽象表示；
(3)構建注意力機制增強的表示學習；利用注意力機制捕獲篇章論元中重要的詞匯信息，將捕獲到的重要詞匯信息融入基本的表示學習中，以加深對篇章論元的語義理解，從而獲取融合重要信息的篇章論元表示；
(4)構建句子翻譯嵌入模塊(TranslatingSentenceEmbedding，TransS)；TransS將篇章論元之間的語義關系翻譯到低維向量空間，并得到篇章論元對及其關系之間的幾何結構；同時，TransS模塊所保留的幾何結構信息能夠作為篇章關系識別的指導；
(5)構建篇章關系識別模塊；將TransS模塊所得的包含幾何結構信息的論元表示輸入篇章關系識別模塊，并為TransS模塊提供已學到的篇章關系語義信息，以幫助TransS模塊更好地學習論元表示；
(6)構建互激勵機制；TransS和篇章關系識別兩個模塊的互相激勵、互相指導，共同優化單詞表示，可以更好地學習新的融合幾何結構信息的篇章論元表示，以提高篇章關系識別能力。


2.根據權利要求1所述基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，其特征在于，步驟(1)中具體如下：實現單詞的嵌入，捕捉單詞的內在屬性，即將語料詞表中所有單詞與預訓練所得的低維、連續詞向量表示對應起來，得到語料中所有單詞的向量表示；將篇章論元對以及其對應的篇章關系轉化為向量表示；在形式上將嵌入層看作是一個投影層，其中單詞嵌入根據索引進行查找表操作實現，即將索引轉換為固定大小的稠密向量；從而獲取兩個篇章論元的向量矩陣，以及其對應篇章關系的低維分布式表示。


3.根據權利要求1所述基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，其特征在于，步驟(2)具體包括：通過LSTM對單詞序列進行建模；對于第t個時間步，LSTM讀取單詞xt作為輸入，ht作為輸出，具體公式如下：






ht＝ot⊙tanh(ct)(3)
其中，it,ft,ot,ct,ht分別表示輸入門、遺忘門、輸出門、存儲單元和隱藏狀態；TA,b是依賴于網絡參數的映射變換矩陣；ct-1表示上一時刻(t-1)的存儲單元狀態，是當前時刻存儲單元到即時狀態，ht-1表示t-1時刻的隱藏層狀態；σ表示sigmoid函數，雙曲正切函數tanh是在t-1時刻作用于ht-1和TA,b上的激活函數，⊙表示元素乘積；
利用雙向LSTM神經網絡(BidirectionalLongShort-TermMemory,BiLSTM)對論元序列進行建模；BiLSTM通過正向和反向兩個單獨的LSTM保存歷史和未來信息；得到在序列的每個時間步長t處的兩個表示和后將它們拼接在一起作為句子向量表示


4.根據權利要求1所述基于TransS驅動的互激勵神經網絡的隱式篇章關系識別方法，其特征在于，步驟(3)具體包括：引入注意力控制機制捕獲到對關系識別有幫助的詞匯，忽略對關系識別不重要的詞匯，將關注重點放在包含重要信息的詞匯上以增強篇章論元對的語義理解，更有效地學習包含重要信息的表示；
M＝tanh(H)(4)
α＝softmax(wTM)(5)






公式(4)中，H是由輸出向量[h1,h2,...,hn]組成的矩陣，其中n是論元的長度，即每個論元所包含的單詞數量，d表示單詞的維度，H經過雙曲正切函數tanh函數而得到隱藏層狀態向量表示矩陣M；公式(5)中，w表示權重參數向量；...

【專利技術屬性】
技術研發人員：賀瑞芳，王建，郭鳳羽，黨建武，賀迎春，朱永凱，
申請(專利權)人：天津大學，
類型：發明
國別省市：天津;12