一種基于Kinect和FPGA的家庭服務機器人制造技術

本實用新型專利技術提供了一種基于Kinect和FPGA的家庭服務機器人，包括框架，該框架上從上往下依次設有相連接的上位機和下位機，上位機還與Kinect傳感器相連接；下位機分別與多個電機驅動器相連接，每個電機驅動器均連接有一個直流伺服電機，一個直流伺服電機與一個電機編碼器相連接，一個直流伺服電機驅動一組全向車輪；所有的電機編碼器均與下位機相連接；上位機和下位機通過串口收發模塊相連接。本機器人具有能夠識別主人、跟隨主人、任意方向自由移動、遠程控制、人機交互和娛樂的功能；解決了目前家庭服務機器人功能單一、結構復雜、交互性能差等缺點。（*該技術在2023年保護過期，可自由使用*）

【技術實現步驟摘要】

本技術屬于為人類服務的特種機器人
，涉及一種智能家庭服務機器人，具體涉及一種能夠實現識別主人、跟隨主人、任意方向自由移動、遠程控制、人機交互和娛樂功能的基于Kinect和FPGA的家庭服務機器人。
技術介紹
隨著人們生活質量的日益提高，家庭服務機器人已經開始進入家庭服務行業。由家庭服務機器人代替人來完成清潔衛生、物品搬運、病人監護、兒童教育、家庭娛樂等各種事務，不僅是一項極具應用前景的高新技術行業，而且也是家庭機器人目前研究的一個重要熱點。目前，家庭服務機器人發展正處于起步階段，沒有大規模的推廣和應用，隨著社會發展和科技水平的提高，人們也會越來越青睞智能家居生活。但是由于技術以及成本的限制，使得已經推廣使用的家庭服務機器人種類較少，一般主要為智能安防機器人、地面清潔機器人、自動擦窗機器人、空氣凈化機器人等。這些機器人功能單一，移動和交互性能差，不同時具有識別主人、跟隨主人、自主移動、遠程控制、人機交互等功能。
技術實現思路
為了彌補上述現有家庭服務機器人技術中存在的不足和問題，推進家庭服務機器人技術的發展，本技術提供了一種基于Kinect和FPGA的家庭服務機器人，具有能夠識別主人、跟隨主人、任意方向自由移動、遠程控制、人機交互和娛樂的功能。為實現上述目的，本技術采用的技術方案是:一種基于Kinect和FPGA的家庭服務機器人，包括框架，該框架上從上往下依次設有相連接的上位機和下位機，上位機還與Kinect傳感器相連接 ；下位機分別與多個電機驅動器相連接，每個電機驅動器均連接有一個直流伺服電機，一個直流伺服電機與一個電機編碼器相連接，一個直流伺服電機驅動一組全向車輪；所有的電機編碼器均與下位機相連接；上位機和下位機通過串口收發模塊相連接。本技術家庭服務機器人采用上位機加下位機的結構模式；上位機由PC機構成，負責處理Kinect傳感器捕獲的實時色彩信息和深度信息以及語音信息，然后通過決策分析模塊，將分析結果轉化為語音輸出，或者將分析結果傳給串口收發模塊發送至下位機；下位機采用單片FPGA芯片作為控制器，完成機器人的底層運動控制；也可以采用無線信號遠程控制機器人的運動狀態。底層運動結構中采用全向輪，使得機器人不需要轉彎即可向任意方向自由移動。附圖說明圖1是本技術家庭服務機器人的結構示意圖。圖2是本技術家庭服務機器人中Kinect傳感器的原理圖。圖3是本技術家庭服務機器人對選取跟蹤的人體進行檢測時，需要檢測的該人體的骨骼關節示意圖。圖4是本技術家庭服務機器人進行語音識別的原理圖。圖5是電機正轉時編碼器輸出波形圖圖6是電機反轉時編碼器輸出波形圖圖7是測速模塊采用變Μ/T法測速的原理圖。圖8是本技術家庭服務機器人上設置的三個全向車輪的運動學模型圖。圖9是PID控制的原理框圖。圖10異步通信中每一幀數據格式圖。圖1中:1.Kinect傳感器，2.麥克風，3.上位機，4.語音識別模塊，5.決策分析模土夾，6.串口收發模塊，7.下位機，8.增量式PID算法模塊，9.速度轉化為占空比模塊，10.電機驅動器，11.直流伺服電機，12.電機編碼器，13.全向車輪，14.輸出PWM波模塊，15.編碼信號采集模塊，16.速度矢量分解算法模塊，17.語音合成模塊，18.音箱，19.人體骨骼檢測與跟蹤模塊。具體實施方式以下結合附圖和具體實施方式對本技術進行詳細說明。如圖1所示，本技術家庭服務機器人，包括框架，該框架上從上往下依次設有相連接的上位機3和下位機7 ，上位機I還分別與Kinect傳感器1、麥克風2和音箱18相連接；下位機7分別與多個電機驅動器10相連接，每個電機驅動器10均連接有一個直流伺服電機11，一個直流伺服電機11與一個電機編碼器12相連接，一個直流伺服電機11驅動一個全向車輪13 ;所有的電機編碼器12均與下位機7相連接；上位機3和下位機7通過串口收發模塊6相連接。上位機3包括決策分析模塊5，決策分析模塊5分別和人體骨骼檢測與跟蹤模塊19、語音識別模塊4、語音合成模塊17以及串口收發模塊6相連接，語音合成模塊17與音箱18相連接；人體骨骼檢測與跟蹤模塊19和Kinect傳感器I相連接，語音識別模塊4和麥克風2相連接。下位機7包括依次相連接的編碼信號采集模塊15、速度矢量分解算法模塊16、增量式PID算法模塊8、速度轉化為占空比模塊9和輸出PWM波模塊14 ;速度矢量分解算法模塊16與串口收發模塊6相連接，輸出PWM波模塊14分別與所有的電機驅動器10相連接；編碼信號采集模塊15分別與所有的電機編碼器12相連接。上位機3采用PC機；下位機7采用FPGA芯片。本技術家庭服務機器人各部分的功能:1.人體骨骼檢測與跟蹤模塊本技術家庭服務機器人采用Kinect傳感器I作為人體骨骼檢測與跟蹤的核心。Kinect傳感器I包含了彩色圖像傳感器、紅外傳感器、深度圖像傳感器、麥克風陣列和數據處理芯片等資源，其原理如圖2所示。人體骨骼檢測時，Kinect傳感器I將采集到的深度數據和色彩數據傳給PC機，PC機對接收到的數據進行分析，提取圖像數據中的人體骨骼，每次可以最多同時檢測到6個人體目標，但只能對其中的兩個目標進行跟蹤，本技術家庭服務機器人只選取一個人體目標進行跟蹤。檢測時，人體骨骼關節從上到下、從左到右依次為頭、左手、左手腕、左肘、左肩、肩中心、右肩、右肘、右手腕、右手、脊椎、髖中心、左髖關節、右髖關節、左膝蓋、右膝蓋、左腳踝、右腳踝、左腳和右腳共20個關節，如圖3所示。家庭服務機器人檢測到正確的人體骨骼后，立即鎖定該人體目標并實施跟蹤，同時，通過深度圖像得到所選取的人體每一個關節點的相對位置坐標，通過人體骨骼數據和距離機器人的距離來實現跟蹤。2.語音識別模塊與語音合成模塊根據對說話人的依賴程度，分為特定人語音識別(SD)和非特定人語音識別(SI)；特定人語音識別(SD)只能辨認特定使用者的語音，訓練_>使用，即先訓練，后使用。訓練是為了獲得說話人的語音特征數據(如音頻、音質等)，使用時將獲得的語音特征與訓練得到的語音特征數據對比，如果特征一致，識別成功，否則失敗；非特定人語音識別(SI)就是可辨認任何人的語音，無須訓練。根據對說話方式的要求，分為孤立詞識別(每次只能識別單個詞匯)以及連續語音識別(用者以正常語速說話，即可識別其中的語句)。本家庭服務機器人的語音合成模塊17分別采用微軟的speech SDK語音開發套件和TTS套件來實現語音識別和語音合成，語音識別的原理如圖4所示。首先進行訓練過程，訓練初始化完成之后，就可以采集語音信息，提取語音的特征數據(音頻、音質等)，將提取的語音特征數據保存在特征數據庫中，如此循環，可對不同指令加以訓練獲得相應特征數據。在識別過程，先對采集的語音信息進行初始化預處理，去除噪聲；然后提取語音特征數據，將提取的特征數據與訓練得到的語音特征數據進行對比比配，如果特征一致，獲得識別的結果，進而識別判斷是否為語音命令(如前進、左轉、停止等)，并且執行相應的操作。本技術家庭服務機器人中的麥克風2為語音信號的采集設備，Kinect傳感器I中麥克風陣列集成在Kinect傳感器I內，如果周圍環境嘈雜，說話人距離機器人較遠時，噪本文檔來自技高網...

【技術保護點】
一種基于Kinect和FPGA的家庭服務機器人，包括框架，其特征在于，該框架上從上往下依次設有相連接的上位機（3）和下位機（7），上位機（1）還與Kinect傳感器（1）相連接；下位機（7）分別與多個電機驅動器（10）相連接，每個電機驅動器（10）均連接有一個直流伺服電機（11），一個直流伺服電機（11）與一個電機編碼器（12）相連接，一個直流伺服電機（11）驅動一組全向車輪（13）；所有的電機編碼器（12）均與下位機（7）相連接；上位機（3）和下位機（7）通過串口收發模塊（6）相連接。

【技術特征摘要】

【專利技術屬性】
技術研發人員：裴東，崔濤，譚等泰，王全州，安占福，趙愛芳，劉平和，陳麗君，陶中幸，
申請(專利權)人：西北師范大學，
類型：實用新型
國別省市：