人機交互設備及人機交互方法技術

一種人機交互設備，包括：腦電拾電電極，用于獲取用戶腦電信號；信號處理模塊，用于采集腦電信號，并將腦電信號放大；視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖，微處理器，用于接收經放大后的腦電信號，同時根據腦電信號形成控制指令，微處理器處理還用于周圍場景圖以形成虛擬場景，微處理器還用于根據手勢動作定位虛擬場景中的目標物體，并根據控制指令控制目標物體的變化；及視頻顯示模塊，電性連接于微處理器，用于顯示虛擬場景。本發明專利技術提供的人機交互設備用戶可以通過簡單的手勢動作和腦電信號來與實景虛擬現實交互，可操作性強、精確且簡單方便。另外，本發明專利技術還提供了一種人機交互的方法。

【技術實現步驟摘要】

本專利技術涉及多媒體技術，尤其涉及一種。
技術介紹
隨著信息技術的發展和信息應用系統的普及，用戶已經致力于尋求更為“好用、適用、易用”的計算機，希望在與計算機“合作共事”的過程中，計算機會逐步了解用戶的需求、愛好和水平，并且用戶和計算機的“學問” 一起增長， 這種“人機智能共增”的技術水平和應用結果是計算機技術和人工智能技術發展到一個新的階段的重要標志之一。在以計算機或類計算機為核心的電子產品時代，人機交互技術正成為各國研究的重點之一。在人機交互技術的早期階段，通常以鍵盤為主，用戶通過鍵盤和鼠標輸入計算機指令，計算執行相應的指令；現代的人機交互方式還有觸控，使用者用手或其他觸控工具(例如觸控筆)接觸觸控屏，被接觸處的電阻或電容就會發生相應的變化，計算機通過采集不同點的數值，就能判斷出觸摸點的位置，從而可以實現一些操作如拖拽、縮放等；近來還有體感型人機交互，這種交互方式是通過遙控器內的加速度傳感器感知使用者手部的運動來實現的；另外的一種交互方式是數據手套，這種方式同樣是通過手套上的帶有的彎曲傳感器來采集人的手部動作來實現交互的。對于傳統的鍵盤、鼠標之類的交互方式，需要使用者接觸鍵盤，鼠標來進行操作；觸控要求使用者必須在設備前使用，接觸控屏幕，遠離觸控屏則無法交互；體感式的交互方式，需要使用者拿著帶傳感器的遙控設備做出大幅度的肢體動作來操作；而對于據手套這種壓力傳感器接口的傳感器數目較多，而且響應的標定和解耦計算十分復雜，進行實時處理時困難較大。數據手套作用范圍也小；另外，數據手套可以采集肢體動作，但穿戴起來麻煩，操作不便而且對于行動不便，或肢體殘疾的人，可操作性也差。
技術實現思路
基于此，有必要針對上述人機交互系統存在的缺陷，提供一種可操作性強、簡便實用的人機交互設備。—種人機交互設備,包括腦電拾電電極，用于獲取用戶腦電信號；信號處理模塊，用于采集所述腦電信號，并將所述腦電信號放大；視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖，微處理器，用于接收經放大后的腦電信號，同時根據所述腦電信號形成控制指令，所述微處理器處理還用于所述周圍場景圖以形成虛擬場景，所述微處理器還用于根據所述手勢動作定位所述虛擬場景中的目標物體，并根據所述控制指令控制所述目標物體的變化；及視頻顯示模塊，電性連接于所述微處理器，用于顯示所述虛擬場景。在本實施例中，所述視頻采集模塊由至少I個攝像頭組成。在本實施例中，所述視頻顯示模塊為眼鏡式微顯示屏另外，本專利技術還提供了一種人機交互的方法，包括下述步驟腦電拾電電極獲取用戶腦電信號；信號處理模塊采集所述腦電信號，并將所述腦電信號放大；視頻采集模塊捕獲用戶手勢動作及周圍場景圖；微處理器將所述周圍場景圖轉換成虛擬場景，并通過視頻采集模塊顯示所述虛擬場景；微處理器接收經放大后的腦電信號，同時將所述腦電信號形成控制指令；微處理器根據所述手勢動作定位所述虛擬場景中的目標物體；根據所述控制指令控制所述目標物體的變化。在本實施例中，其中，微處理器接收經放大后的腦電信號，同時根據所述腦電信號形成控制指令，包括下述步驟將接收到的腦電信號進行去噪；將去噪后的腦電信號小波分解并提取分類特征；基于所述分類特征依據SVM訓練分類器進行分類；依據所述分類形成控制指令。 在本實施例中，其中，根據所述手勢動作定位所述虛擬場景中的目標物體，包括下述步驟將所述周圍場景圖的坐標映射關系轉換至圖像平面坐標；分割出手指區域；計算出各手指區域的圖像平面坐標；將上述各手指區域的圖像平面坐標與上述顯示的虛擬場景的圖像平面坐標進行匹配。上述人機交互設備通過采集腦電信號，將采集到的腦電信號轉換成控制指令，將手勢動作定位虛擬場景中的目標物體，并根據控制指令控制目標物體的變化，實現與虛擬場景交互。由于使用者無需用手接觸鍵盤、鼠標、屏幕等這些設備，無需在手上佩戴傳感器，用戶可以通過簡單的手勢動作和腦電信號來與實景虛擬現實交互，可實現放大、縮小場景、定位、移動虛擬場景中的目標物體，可操作性強、精確且簡單方便。附圖說明圖I為本專利技術實施例提供的一種人機交互設備的結構示意圖。圖2為本專利技術實施例提供的一種人機交互的方法的步驟流程圖。圖3為本專利技術實施例提供的微處理器接收經放大后的腦電信號，同時根據所述腦電信號形成控制指令的步驟流程圖。圖4為本專利技術實施例提供的根據手勢動作定位虛擬場景中的目標物體的步驟流程圖。具體實施例方式請參閱圖1，圖I為本專利技術實施例提供的一種人機交互設備100的結構示意圖。一種人機交互設備100，包括腦電拾電電極110、信號處理模塊120、視頻采集模塊130、微處理器140及視頻顯示模塊150。腦電拾電電極110用于獲取用戶腦電信號。可以理解，腦電拾電電極110與用戶頭皮接觸，用于獲取采集用戶的腦電信號，比如注意力、眨眼、皺眉等腦電信號。信號處理模塊120電性連接于腦電拾電電極110，用于采集腦電拾電電極110獲取的腦電信號，并將腦電信號放大。視頻采集模塊130用于捕獲用戶手勢動作及周圍場景圖。在本專利技術提供的實施例中，視頻采集模塊130優選為由至少I個攝像頭組成，用戶的手勢動作及周圍場景圖被攝像頭捕獲。微處理器140電性連接于信號處理模塊120及視頻采集模塊130。微處理器140接收經信號處理模塊120放大后的腦電信號，同時根據腦電信號形成控制指令。微處理器140還用于接收由視頻采集模塊130捕獲的周圍場景圖，并將周圍場景圖轉換成虛擬場景。微處理器140還用于根據手勢動作定位虛擬場景中的目標物體，并根據控制指令控制所述目標物體的變化。視頻顯示模塊150，電性連接于微處理器140，用于顯示虛擬場景。在本專利技術提供的實施例中視頻顯示模塊150優選為眼鏡式微顯示屏，由視頻采集模塊130捕獲的周圍場景圖經視頻視頻顯示模塊150顯示。可以理解，由上述控制指令控制目標物體的變化過程及結果也經視頻顯示模塊150顯示。請參閱圖2，圖2為本專利技術實施例提供的一種人機交互的方法的步驟流程圖，其包括下述步驟步驟S210 :腦電拾電電極110獲取用戶腦電信號。在本專利技術提供的實施例中，腦電拾電電極110與用戶頭皮接觸，用于采集用戶腦電信號。用戶在不同的意識形態下具有不同的腦電信號，如用戶在“注意力”、“眨眼”或“皺眉”等意識形態下具有不同的腦電信號。步驟S220 :信號處理模塊120采集腦電信號，并將腦電信號放大。信號處理模塊 120采集腦電拾電電極110獲取的用戶腦電信號，如“注意力”、“眨眼”或“皺眉”下的腦電信號，并將上述腦電信號進行放大。步驟S230 :視頻采集模塊130捕獲用戶手勢動作及周圍場景圖。可以理解，視頻采集模塊130捕獲的周圍場景圖為實景。步驟S240 :微處理器110將周圍場景圖轉換成虛擬場景，并顯示虛擬場景。在本專利技術提供的實施例中，微處理器110將視頻采集模塊130捕獲的周圍場景圖進行融合、通過幾何變換、剪裁、投影等矩陣運算變換，將周圍場景圖轉換成虛擬場景，并通過視頻顯示模塊150顯示。步驟S250 :微處理器110接收經放大后的腦電信號，同時將腦電信號形成控制指令。可以理解，由于人腦的腦電信號屬于意念，很難通過腦電信號直接準確定位場景中的物體，但是，如果將腦電信號轉換成可以控制的控制指令，再通過控制指令來控制虛擬場景中的物體的移動、縮放、本文檔來自技高網...

【技術保護點】
一種人機交互設備，其特征在于，包括：腦電拾電電極，用于獲取用戶腦電信號；信號處理模塊，用于采集所述腦電信號，并將所述腦電信號放大；視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖；微處理器，用于接收經放大后的腦電信號，同時根據所述腦電信號形成控制指令，所述微處理器處理還用于處理所述周圍場景圖以形成虛擬場景，所述微處理器還用于根據所述手勢動作定位所述虛擬場景中的目標物體，并根據所述控制指令控制所述目標物體的變化；及視頻顯示模塊，電性連接于所述微處理器，用于顯示所述虛擬場景。

【技術特征摘要】

【專利技術屬性】
技術研發人員：程俊，陶大程，陳裕華，張子銳，
申請(專利權)人：深圳先進技術研究院，
類型：發明
國別省市：