一種服務機器人的語音語義識別方法技術

本發明專利技術提供一種服務機器人的語音語義識別方法，具體包括如下步驟：系統詞庫建模：建立詞庫數據庫；建立語義框架數據庫；建立唇語模式庫；系統通過語音識別系統采集用戶輸入的語音指令和面部視頻，分別進行語音語義識別和視頻片段唇語識別，根據二者結合識別的結果，將判斷的所述中文語義通過顯示界面顯示。本發明專利技術針對不同服務領域設置名詞數據庫和語義框架數據庫，機器人通過詞庫數據庫、語義框架數據庫與唇語模式庫的結合，來理解所識別的語音指令所需要表達的中文含義，使得語音語義的識別更加準確。

A method of speech semantic recognition for service robot

The invention provides a voice recognition method for semantic service robot, and includes the following steps: System Modeling: establish thesaurus thesaurus database; establishing semantic database framework; the establishment of lip pattern library; system by speech recognition system to collect user input voice commands and facial video, respectively for voice and video clips for recognition of semantic recognition, according to the two the combination of recognition results, the Chinese semantic judgment through the display interface display. The present invention for different services set noun database and the semantic database framework, the robot through a combination of thesaurus database, semantic frame database and lip pattern library, Chinese meaning to understand the identified voice instructions need to express, make speech recognition more accurate semantic.

【技術實現步驟摘要】
一種服務機器人的語音語義識別方法
本專利技術涉及一種語音語義識別方法，尤其涉及一種服務機器人的語音語義識別方法。
技術介紹
計算機科學領域的一個重要分支就是“人工智能”，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。在自然語言處理方面，如何讓機器人識別和理解人類的語言，并且模擬人類思維方式去思考、推理問題，是完成“人工智能”這個人類偉大理想的重要舉措。不管是中文，還是英文的語言環境中，除了“你”“我”“他”等這類個別的例外之外，詞組才是人類表達語義的最小單位。什么是語義？語義就是自然語言文本的涵義。對機器人來說，就是當機器人遇到這個文本輸入的時候，應該進行的回答或響應。例如，當用戶問“北京明天什么天氣”，計算機能夠理解這句話的意圖是問天氣信息，且城市是北京，時間是明天，從而執行的操作是從特定數據源中查詢到北京明天的天氣信息并呈現給用戶。語義技術比較適合的應用類型至少有兩種：一是操控類的應用，通過語音可以直接發出指令，如語音撥號，發短信等；二是信息查詢類的應用，特別是查詢條件比較多的情況，傳統的交互方式需要用戶用文字輸入很多查詢條件，這對用戶來說很繁瑣。而語義的交互方式可以讓用戶通過一句話或者多回合的對話方式獲取其所要的信息。中國服務機器人的應用領域包括金融、家庭服務、教育、醫療、物流、國防、住宿餐飲、電子商務等。對于服務型機器人我們現階段主要有的就是餐飲機器人、家居機器人、娛樂機器人以及醫療看護機器人等。而且現在的這種類型的機器人已經逐漸被人們接受，使用率也越來越高。對于服務機器人來說，語音語義技術需要實現的技術目標，是使服務機器人能夠理解人類對他輸入的句子的意思，這里需要強調的是“理解”，而不是“識別”。識別指的是語音識別，具體是指通過語音識別分析出這句話說的是什么；而理解指的是語義識別，具體是指語義識別分析出這句話是什么意思。機器人要正確理解用戶的意思并作出反應，語義識別實際上更為關鍵。現有的服務機器人大部分設置有攝像頭，通過攝像頭的視頻錄制和實施人工監控，使得即使在嘈雜的環境中，語音識別的正確率仍能保持，在多音源的情況下，識別的準確度需要其他功能的輔助提升語音語義識別的準確度。目前的服務機器人在語音語義識別過程中，仍存在諸多的問題，例如語音設備在采集過程或采集設備本身會帶來干擾，導致其準確率不高，或者語音識別基本能涵蓋準確識別結果，但是在實時識別過程中需要采用大型的計算機硬件設備，計算量大。因此，對于服務機器人來說，不僅如何快速、準確識別用戶發出的語音指令并對指令的語義進行理解后，做出相應的響應或者回復是體現一個服務機器人性能的重要指標，能否將識別設備變得輕巧、可移動和便攜，是一個新的客體要求。對比文件1：CN102681982A公開一種可讓計算機理解的自然語言句子的自動語義識別的方法，涉及到一種可以準確的識別漢語語言的方法。具體它包括以下步聚：a、在某個領域建立本體庫；b、基于領域本體建立語義框架知識庫；c、基于語義框架的本體映射，實現自然語言句子到語義結構的直觀匹配；根據框架模式進行匹配性識別。在出現干擾時，其語音語義識別度容易出現誤差，具有局限性。對比文件2：CN104409075A公開一種語音識別方法，在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音信號結束時，控制所述圖像采集裝置停止圖像采集；對接收到的語音信號進行識別，以得到語音信號識別結果；對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別結果；計算所述語音信號識別結果和唇語識別結果的準確度，將準確度較高的識別結果作為當前的語音識別結果。其通過對所采集的視頻進行唇語識別，耗費時間長，計算機計算量大，且需要較大型計算機硬件設備進行支持。
技術實現思路
本專利技術要解決的技術問題是提供一種服務機器人的語音語義識別方法，該語音語義識別方法能快速、準確地識別用戶發出的語音指令，并對語音指令的語義進行理解后作出相應的回復或者響應；通過唇語識別，對語音語義識別進行輔助后匹配，使得準確率更高。為了解決上述技術問題，本專利技術采用以下技術方案：提供一種服務機器人的語音語義識別方法，具體包括如下步驟：S1、系統詞庫建模：S101、建立詞庫數據庫，所述詞庫數據庫包括代詞數據庫、動詞數據庫和名詞數據庫，將中文漢字中為代詞、動詞和名詞屬性的詞語和成語分別存入相應的代詞數據庫、動詞數據庫和名詞數據庫；S102、同時，建立語義框架數據庫，所述語義框架數據庫包括存入的詞語可能的組合方式及組合在一起對應的中文意思；S103、同時建立唇語模式庫，所建立模式庫由面部唇語視頻運算識別得到模式特征碼或由中文文字反推得到標準模式特征碼；S2、系統通過語音識別系統采集用戶輸入的語音指令和面部視頻，將語音指令識別為中文語句，然后將中文語句進行拆解，拆解形式為：代詞+動詞+名詞，并對應詞庫數據庫和語義框架數據庫，得到該語音指令的中文語義；S3、根據語義解析矯正語音識別結果，并輸出綜合評價概率Pa，其中，Pa為歸一化值；S4、取參數C0，當Pa<C0時，進入S5；否則進入S10；S5、輸出各語義片段識別結果可信概率Ps(1)～Ps(N)；S6、取參數C1、K，當某語音片段識別結果可信概率Ps(n)<C1(n＝1～N)時，語義識別輸出可信概率最大的K個識別結果(K≥2)，否則進入S9；S7、獲取步驟S6中K個識別結果的唇語模式特征RTs(k)，其中k＝1～K；S8、根據語音識別系統截取的對應的面部視頻片段，通過視頻唇部運動模式提取，并形成唇部運動模式特征碼RTs0；S8、使用模式匹配算法，以RTs0和RTs(1)～RTs(k)作為輸入，獲得VP(1)～VP(K)，并取最小值，即Vpmin(k)＝min//PTs(k)-PT0//(k＝1～K),其中//為距離算子；S9、輸出Vpmin對應的結果作為識別結果，進入S5循環直至N片段識別完成，進入S10；S10、所述中文語義通過顯示界面顯示。進一步地，所述步驟S101中所述名詞數據庫中的名詞按不同服務領域進行分類存儲，所述服務領域包括餐飲、醫療、購物、運動、住宿、交通；步驟S102中對應的語音框架數據庫也根據不同服務領域進行分類存儲。比如：我要吃“飯/小龍蝦”，對應的是餐飲領域；比如：我要看“病”，對應的是醫療領域；比如：我要買“手機/書本”，對應的是購物領域；比如：我要打“球/健身”，對應的是運動領域；比如：我要找“酒店/住宿”，對應的是住宿領域；再比如：我要去“機場”，對應的是交通領域。進一步地，步驟S2中，當系統識別的語音指令的中文語義中包含用戶“要”、“想要”、“需要”某件物品或者做某件事情或者“將要”做某件事情的語義時；所述語音語義識別方法還包括步驟：S11、系統獲取當前用戶的位置，同時在該位置附近對包含某件事情或者某件物品的名詞相關的事務進行搜索，搜索結果通過顯示界面顯示。例如：當用戶輸入的語音指令為“我要買書”時，系統會獲取到用戶的當前位置，將附近可以的書店或者可以買書的商家關聯對接起來，再查詢出價格和庫存等信息后對用戶進行反饋，并將結果顯示在顯示界面上。進一步地，語音語義識別方法還包括步驟本文檔來自技高網...

【技術保護點】
一種服務機器人的語音語義識別方法，其特征在于，具體包括如下步驟：S1、系統詞庫建模：S101、建立詞庫數據庫，所述詞庫數據庫包括代詞數據庫、動詞數據庫和名詞數據庫，將中文漢字中為代詞、動詞和名詞屬性的詞語和成語分別存入相應的代詞數據庫、動詞數據庫和名詞數據庫；S102、同時，建立語義框架數據庫，所述語義框架數據庫包括存入的詞語可能的組合方式及組合在一起對應的中文意思；S2、系統通過語音識別系統采集用戶輸入的語音指令和面部視頻，將語音指令識別為中文語句，然后將中文語句進行拆解，拆解形式為：代詞+動詞+名詞，并對應詞庫數據庫和語義框架數據庫，得到該語音指令的中文語義；S3、根據語義解析矯正語音識別結果，并輸出綜合評價概率Pa，其中，Pa為歸一化值；S4、取參數C0，當Pa<C0時，進入S5；否則進入S10；S5、輸出各語義片段識別結果可信概率Ps(1)～Ps(N)；S6、取參數C1、K，當某語音片段識別結果可信概率Ps(n)<C1(n＝1～N)時，語義識別輸出可信概率最大的K個識別結果(K≥2)，否則進入S9；S7、建立唇語模式庫，獲取步驟S6中K個識別結果的唇語模式特征RTs(k)，其中k＝1～K；S8、根據語音識別系統截取的對應的面部視頻片段，通過視頻唇部運動模式提取，并形成唇部運動模式特征碼RTs0；S8、使用模式匹配算法，以RTs0和RTs(1)～RTs(k)作為輸入，獲得VP(1)～VP(K)，并取最小值，即Vpmin(k)＝min//PTs(k)?PT0//(k＝1～K)，其中////為距離算子；S9、輸出Vpmin對應的結果作為識別結果，進入S5循環直至N片段識別完成，進入S10；S10、所述中文語義通過顯示界面顯示。...

【技術特征摘要】
1.一種服務機器人的語音語義識別方法，其特征在于，具體包括如下步驟：S1、系統詞庫建模：S101、建立詞庫數據庫，所述詞庫數據庫包括代詞數據庫、動詞數據庫和名詞數據庫，將中文漢字中為代詞、動詞和名詞屬性的詞語和成語分別存入相應的代詞數據庫、動詞數據庫和名詞數據庫；S102、同時，建立語義框架數據庫，所述語義框架數據庫包括存入的詞語可能的組合方式及組合在一起對應的中文意思；S2、系統通過語音識別系統采集用戶輸入的語音指令和面部視頻，將語音指令識別為中文語句，然后將中文語句進行拆解，拆解形式為：代詞+動詞+名詞，并對應詞庫數據庫和語義框架數據庫，得到該語音指令的中文語義；S3、根據語義解析矯正語音識別結果，并輸出綜合評價概率Pa，其中，Pa為歸一化值；S4、取參數C0，當Pa<C0時，進入S5；否則進入S10；S5、輸出各語義片段識別結果可信概率Ps(1)～Ps(N)；S6、取參數C1、K，當某語音片段識別結果可信概率Ps(n)<C1(n＝1～N)時，語義識別輸出可信概率最大的K個識別結果(K≥2)，否則進入S9；S7、建立唇語模式庫，獲取步驟S6中K個識別結果的唇語模式特征RTs(k)，其中k＝1～K；S8、根據語音識別系統截取的對應的面部視頻片段，通過視頻唇部運動模式提取，并形成唇部運動模式特征碼RTs0；S8、使用模式匹配算法，以RTs0和RTs(1)～RTs(k)作為輸入，獲得VP(1)～VP(K)，并取最小值，即Vpmin(k)＝min//PTs(k)-PT0//(k＝1～K)，其中////為距離算子；S9、輸出Vpmin對應的結果作為識別結果，進入S5循環直至N片段識別完成，進入S10；S10、所述中文語義通過顯示界面顯示。2.根據權利要求1所述的一種服務機器人的語音語義識別方法，其特征在于，所述步驟S101中所述名詞數據庫中的名詞按不同服務領域進行分類存儲，所述服務領域包括餐飲、醫療、購物、運動、住宿、交通；步驟S102中對應的語音框架...

【專利技術屬性】
技術研發人員：彭楚奧，
申請(專利權)人：彭楚奧，
類型：發明
國別省市：湖南,43