特征編碼方法、裝置、電子設備及可讀存儲介質制造方法及圖紙

本發明專利技術實施例提供一種特征編碼方法、裝置、電子設備及可讀存儲介質，獲取待分析語句；將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果；所述特征編碼模型為注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。本發明專利技術實施例中的特征編碼方法利用注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練特征編碼模型，提高了特征編碼模型的魯棒性。

Feature coding method, device, electronic equipment and readable storage medium

【技術實現步驟摘要】
特征編碼方法、裝置、電子設備及可讀存儲介質
本專利技術涉及自然語言處理領域，尤其涉及一種特征編碼方法、裝置、電子設備及可讀存儲介質。
技術介紹
語義理解是自然語言處理領域的重要問題之一，其任務是將自然語言解析為結構化、機器可讀的表征語義信息的特征編碼。特征編碼模型的魯棒性是語義理解領域不可規避的問題，其衡量的是特征編碼模型的抗噪能力。當對輸出語句的內容進行擾動后，特征編碼模型抽取的語句關鍵特征會存在不準確的問題，導致機器不能理解語句的真實語義。加強特征編碼模型的抗噪能力需要使用大量加噪語句作為訓練樣本來訓練特征編碼模型。現有技術中獲取加噪語句主要有基于規則的加噪方法和基于回譯的加噪方法。然而，前者無法保證噪聲的覆蓋率，后者則強依賴于翻譯器的效果。另外，這兩種方法所生成的加噪語句可能會改變原始語句的含義，導致用噪聲語句訓練的特征編碼模型在準確理解語句的真實含義方面效果不佳。
技術實現思路
本專利技術實施例提供一種特征編碼處理方法、裝置、電子設備及可讀存儲介質，用以解決現有技術中特征編碼方法準確性較低、魯棒性不強的問題。第一方面，本專利技術實施例提供一種語義理解處理方法，包括：獲取待分析語句；將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果；所述特征編碼模型為基于注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。優選地，其中所述生成對抗網絡模型為以語句樣本對為訓練樣本，以與所述語句樣本對對應的用于表征加噪類型的加噪向量為樣本標簽訓練得到；所述基于注意力的特征編碼模型為以所述語句樣本對為訓練樣本訓練得到；所述語句樣本對包括原始語句和加噪語句，所述加噪語句為對所述原始語句進行加噪得到。優選地，所述生成對抗網絡模型包括編碼模塊和判別模塊，所述生成對抗網絡模型通過如下方式訓練得到：將語句樣本對中的原始語句和加噪語句分別進行向量化處理，得到原始語句向量和加噪語句向量；將原始語句向量和加噪語句向量分別輸入編碼模塊，得到所述編碼模塊輸出的與原始語句向量和加噪語句向量分別對應的原始第一特征和加噪第一特征；將所述原始第一特征和所述加噪第一特征分別輸入判別模塊，得到所述判別模塊輸出的所述原始第一特征對應的預測標簽和所述加噪第一特征對應的預測標簽；以所述加噪第一特征對應的預測標簽以及所述原始第一特征對應的預測標簽均趨近于原始語句的樣本標簽為目標，對所述生成對抗網絡模型的參數進行更新。優選地，所述特征編碼模型通過以下方式訓練得到：將所述生成對抗網絡模型訓練完成后，將語句樣本對中的原始語句和加噪語句分別進行向量化處理，得到原始語句向量和加噪語句向量；將原始語句向量和加噪語句向量輸入訓練好的生成對抗網絡模型中的編碼模塊，得到該編碼模塊輸出的與原始語句向量和加噪語句向量分別對應的原始第二特征和加噪第二特征；將原始第二特征和加噪第二特征分別輸入注意力模塊，得到所述注意力模塊輸出的與所述原始第二特征和所述加噪第二特征分別對應的原始關鍵特征和加噪關鍵特征；以所述加噪關鍵特征趨近于原始關鍵特征為目標，對所述注意力模塊和所述編碼模塊的參數進行更新，直到滿足預設收斂條件，將所得的編碼模塊作為訓練好的特征編碼模型。優選地，所述對所述原始語句進行加噪的方法包括：對原始語句中的詞進行隨機調換順序、對原始語句中的詞進行隨機刪除、向原始語句中隨機插入詞、對原始語句中的字進行隨機重復或者基于回譯的加噪方法對原始語句進行加噪。優選地，根據所述特征編碼結果確定所述待分析語句的語義。第二方面，本專利技術實施例提供一種語義理解處理裝置，包括：語句獲取單元，用于獲取待分析語句；特征編碼單元，用于將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果；所述特征編碼模型為基于注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。第三方面，本專利技術實施例提供一種語義理解處理設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如第一方面所提供的方法的步驟。第四方面，本專利技術實施例提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如第一方面所提供的方法的步驟。本專利技術實施例提供的特征編碼處理方法、裝置、電子設備及可讀存儲介質，利用注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練特征編碼模型，提高了特征編碼模型的魯棒性。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術特征編碼方法實施例流程圖；圖2為本專利技術特征編碼方法另一實施例流程圖；圖3為本專利技術特征編碼方法另一實施例流程圖；圖4為本專利技術特征編碼裝置實施例結構示意圖；圖5為本專利技術電子設備實施例結構示意圖。具體實施方式為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。在本專利技術的一個實施例中，提供一種特征編碼方法，詳細結合附圖1進行說明，特征編碼方法包括：S100、獲取待分析語句。具體地，本步驟可以直接獲取文本形式的待分析語句，也可以根據外部輸入的語音數據經過語音識別方法翻譯得到文本形式的待分析語句。待分析語句可以通過終端設備進行采集，終端設備可以是手機、個人電腦、平板電腦等設備。如果待分析語句直接以文本形式獲取，可以通過終端設備上的文字輸入裝置采集；如果待分析語句是由語音數據經過語音識別方法翻譯得到，該語音數據可以經過終端設備上的麥克風采集，并由終端設備中內置的語音識別模塊進行翻譯。S200、將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果。具體地，所述特征編碼模型為注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。具體地，本實施例中提到的特征編碼模型可以由注意力模塊和編碼模塊共同構成，即注意力模塊和編碼模塊可以分別為特征編碼模型中的一個部分。相應地，在訓練該特征編碼模型時，所輸入該模型的訓練樣本需要由注意力模塊和編碼模塊相應的功能分別處理，獲得對應的訓練結果；而在應用該特征編碼模型時，輸入該模型的待分析語句可以由注意力模塊和編碼模塊相應的分別處理，即先經編碼模塊初步編碼得到編碼特征，再經由注意力模塊從該編碼特征中提取本文檔來自技高網...

【技術保護點】
1.一種特征編碼方法，其特征在于，包括：/n獲取待分析語句；/n將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果；/n所述特征編碼模型為注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。/n

【技術特征摘要】
1.一種特征編碼方法，其特征在于，包括：
獲取待分析語句；
將所述待分析語句輸入至預先訓練好的特征編碼模型中，獲得所述特征編碼模型輸出的特征編碼結果；
所述特征編碼模型為注意力模塊和訓練好的生成對抗網絡模型中的編碼模塊共同訓練所得到。


2.根據權利要求1所述的語義理解處理方法，其特征在于，所述生成對抗網絡模型為以語句樣本對為訓練樣本，以與所述語句樣本對對應的用于表征加噪類型的加噪向量為樣本標簽訓練得到；所述特征編碼模型為以所述語句樣本對為訓練樣本訓練得到；所述語句樣本對包括原始語句和加噪語句，所述加噪語句為對所述原始語句進行加噪得到。


3.根據權利要求2所述的語義理解處理方法，其特征在于，所述生成對抗網絡模型包括編碼模塊和判別模塊，所述生成對抗網絡模型通過如下方式訓練得到：
將語句樣本對中的原始語句和加噪語句分別進行向量化處理，得到原始語句向量和加噪語句向量；
將原始語句向量和加噪語句向量分別輸入編碼模塊，得到所述編碼模塊輸出的與原始語句向量和加噪語句向量分別對應的原始第一特征和加噪第一特征；
將所述原始第一特征和所述加噪第一特征分別輸入判別模塊，得到所述判別模塊輸出的所述原始第一特征對應的預測標簽和所述加噪第一特征對應的預測標簽；
以所述加噪第一特征對應的預測標簽以及所述原始第一特征對應的預測標簽均趨近于原始語句的樣本標簽為目標，對所述生成對抗網絡模型的參數進行更新。


4.根據權利要求2所述的語義理解處理方法，其特征在于，所述特征編碼模型通過以下方式訓練得到：
將所述生成對抗網絡模型訓練完成后，將語句樣本對中的原始語句和加噪語句分別進行向量化處理，得到原始語句向量和加噪語句向量；
將原始語句向量和加噪語句向量分別輸入...

【專利技術屬性】
技術研發人員：戴瑾，胡加學，趙乾，宋時德，
申請(專利權)人：科大訊飛股份有限公司，
類型：發明
國別省市：安徽;34