一種基于方向盤圖像的司機疲勞檢測方法和檢測裝置制造方法及圖紙

本發明專利技術為一種基于方向盤圖像的司機疲勞檢測方法和檢測裝置，本方法主要步驟為：取得模板圖像，求方向盤圓心位置坐標，取方向盤上特征點，求得當前幀和下一幀中特征點坐標位置，計算方向盤轉動的角度并存儲；以計算一定時間段內方向盤的零速百分比和角度標準差；采用支持向量機分類算法，訓練樣本集，求出判斷司機是否處于疲勞狀態的決策函數。監控時實時采集方向盤圖像，由方向盤轉角，求出當前零速百分比和角度表準差的值，代入決策函數，結果為1即當前司機為疲勞狀態，立即報警。本裝置攝像頭安裝于駕駛室頂，攝像頭與中心處理器連接；中心處理器還連接報警模塊。本發明專利技術操作簡單，測量結果準確，可計算大于一周的方向盤轉角，適用范圍更廣。

Driver fatigue detection method and device based on steering wheel image

The invention relates to a driver fatigue detection method and a device for steering wheel based on image, this method mainly comprises the following steps: obtaining the template image, and the steering wheel center position coordinates, direction feature points set, obtained the current frame and the next frame feature point coordinate position, calculation of steering wheel rotation angle and storage in order to calculate a certain period of time; the wheel speed and the angle of zero percentage standard deviation; the support vector machine algorithm, the training sample set, to calculate decision function to determine whether the driver is fatigue. When monitoring, the steering wheel image is acquired in real time, and the value of the current zero speed percentage and the angle table deviation is calculated by the rotation angle of the steering wheel, and is substituted into a decision function, and the result is 1, that is, the current driver is in a state of fatigue, and the police is called immediately. The camera is installed on the top of the cab, the camera is connected with the central processor, and the central processor is also connected with the alarm module. The invention has simple operation, accurate measuring result, and can calculate the steering wheel angle of more than one week, and has a wide range of application.

【技術實現步驟摘要】
一種基于方向盤圖像的司機疲勞檢測方法和檢測裝置
本專利技術涉及車輛司機疲勞檢測領域，具體為一種基于方向盤圖像的司機疲勞檢測方法和檢測裝置。
技術介紹
隨著機動車數量的增多，交通事故也持續增加。統計數據表明，我國每年由于疲勞駕駛導致的死亡人數約9000人，給國家帶來了巨大的人員和財產損失。統計數據表明，司機疲勞引起的交通事故占交通事故總數的20％左右，占特大交通事故數的40％以上。如果能在司機疲勞產生的初期給予預警，那么就會減少交通事故的發生，對交通安全意義重大。現有的司機疲勞檢測不少是基于人臉技術，因為需要對司機的正常狀態和疲勞狀態的特征進行識別分類判別，硬件成本較高，算法復雜，實時效果差，難以實現，且因有些司機的疲勞在臉部并沒有特別反映，受個人特征影響比較大。研究發現方向盤轉角數據能實時反映司機的操作狀態，當司機處于疲勞狀態時，其對環境的感知能力、判斷能力和實際操控能力都會下降，其直接操控的方向盤轉角會出現異常波動。通過檢測方向盤轉角的實時變化，即可判斷司機的疲勞狀態。其中關鍵是對方向盤轉角的測量。目前，方向盤轉角的測量方法安裝轉角傳感器，測量方向盤的旋轉角度。比較有代表性的如申請號為201310068176.6、名稱為《基于方向盤轉角數據的疲勞檢測方法及檢測裝置》的專利技術專利申請和申請號為201510113007.9、名稱為《基于方向盤轉角信息的駕駛人疲勞狀態檢測方法》的專利技術專利申請，雖然他們的方案有效地提取了方向盤轉角的疲勞特征信息并有效地檢測司機的疲勞狀態，但也存在明顯問題：1、方向盤轉角傳感器需要直接固定在車輛方向盤上或固定在方向盤轉軸上，轉角傳感器遮擋部分儀表盤，司機察看的儀表的視線被阻擋，另一方面方向盤或其轉軸上的傳感器還有可能影響方向盤的旋轉，影響正常駕駛操作；2、現有方向盤轉角傳感器沒有轉角記憶功能，因此當方向盤轉動范圍大于一周時，轉角傳感器無法得到正確的轉角數據；3、方向盤轉角傳感器安裝困難，通常需要在汽車出廠前固定安裝于方向盤或轉軸上，且不方便拆卸，移植性差，無法滿足現有車輛司機疲勞狀態檢測的需要。為此又出現的申請號為201210343216.9名稱為《一種基于圖像的車輛方向盤轉角檢測方法及檢測裝置》的方案，其無需安裝方向盤轉角傳感器，在方向盤的背面粘貼兩種標記貼和標識線，以方向盤初始狀態圖像與轉動后的圖像比較，計算得到方向盤轉角。但是其標記過于繁瑣，標識線有六條將方向盤分為六個區，每個區內要按規定粘貼三角形的標記貼和弧形標記貼，實施較困難；在方向盤背面粘貼標記，光線較差，影響圖像清晰度，司機握著方向盤操作時會遮擋部分標記，也影響檢測效果。故也難以實用。傳統的基于方向盤轉角信息的司機疲勞判別是采用fisher線性判別算法，此方法將車輛的行駛視為直線行駛，采用角度標準差σ和零速百分比PNS這兩個指標、用fisher線性判別算法判別司機的疲勞狀態。但是車輛的實際行駛有走“S”形、超車變道等情況。以角度標準差σ大于1.2°作為判定疲勞的標準明顯不合理。故傳統的基于方向盤轉角信息的司機疲勞判別方法準確率不高。目前尚未見一種用之有效的簡單易行的基于圖像的司機疲勞狀態檢測方法。
技術實現思路
本專利技術的目的是為了克服現有技術中存在的缺陷而提出的一種基于方向盤圖像的司機疲勞檢測方法，攝像頭實時采集方向盤圖像，采用模板匹配算法讓模板圖像與實時圖像匹配，通過圖像處理得到方向盤轉動角度，計算當前零速百分比和角度標準差，用支持向量機算法來得到當前司機的狀態。本方法操作簡單、實用性強，且對司機狀態檢測準確。本專利技術的另一目的是提出一種基于方向盤圖像的司機疲勞檢測裝置，包括中心處理器、攝像頭和報警模塊，攝像頭安裝于駕駛室內的頂部，方向盤處于攝像頭的取景框內，攝像頭的視頻信號輸出線與本裝置的中心處理器連接；中心處理器還連接報警模塊。本專利技術設計的一種基于方向盤圖像的司機疲勞檢測方法主要步驟如下：步驟Ⅰ、取得模板圖像攝像頭安裝于駕駛室內的頂部，攝像頭的視頻信號輸出線與檢測裝置的中心處理器連接；攝像頭采集靜止的方向盤圖像，作為初始圖像存儲；中心處理器對初始圖像進行去噪處理后，存儲為模板圖像。在方向盤圓上的點與攝像頭拍攝到的圖像橢圓上的點一一對應，圖像橢圓上某一點m(xm，ym)與方向盤圓上的對應點M(xM，yM)之間的對應關系是xM＝xm、式中半徑R為橢圓長半軸，R的長度不變。步驟Ⅱ、取得方向盤圓心位置坐標o(x0,y0)步驟Ⅰ所得的任何類型車輛的方向盤模板圖像上均可得到方向盤圓心位置坐標，Ⅱ-1、方向盤外輪廓對步驟Ⅰ所得的模板圖像采用OpenCV開源視覺庫自帶的findContours()函數，通過設置相應的參數得到方向盤圖像的外輪廓上的各點坐標；Ⅱ-2、方向盤圓心位置坐標由步驟Ⅱ-1確定的方向盤圖像的外輪廓上的5個坐標點(xm1,ym1,xm2,ym2,...,xm5,ym5)，確定橢圓方程，得到橢圓中心位置坐標o(x0,y0)；步驟Ⅲ、特征點跟蹤本方法采用光流法，針對每一個視頻序列，與模板圖像匹配，檢測當前方向盤圖像轉動的角度；在方向盤上取具有代表性并易于確定的特征點，具有代表性并易于確定的特征點是方向盤轉動后仍能在方向盤圖像上明確定位的點。通過迭代求得當前幀中方向盤圖像中的特征點坐標位置和在下一幀中的坐標位置，根據該特征點在當前幀的坐標與該特征點在下一幀的坐標計算得出從當前幀到下一幀該特征點轉動的角度,也就是方向盤轉動的角度；步驟Ⅳ、計算方向盤相鄰兩幀轉動的角度θ以下角度θ的計算采用方向盤圓上特征點A的位置坐標。由步驟Ⅱ確定了方向盤圓心o(x0，y0)，步驟Ⅲ確定了當前幀特征點A位置A0(xM01，yM01)的坐標，當方向盤轉動一個角度θ后，再確定特征點位置A0(xM01，yM01)對應的下一幀的特征點位置A1(xM11，yM11)的坐標。圓心o(x0，y0)和A0(xM01，yM01)、A1(xM11，yM11)連線的夾角為θ1，根據余弦定理即特征點A轉動角度，由兩點間距離公式算出：步驟Ⅴ、方向盤圖像的特征點轉動角度令方向盤圓心坐標為o(x0，y0)，第k幀圖像、第k+1幀圖像中特征點的坐標分別為Dk(xMk，yMk)、Dk+1(xM(k+1)，yM(k+1))，相鄰兩幀圖像中特征點轉動角度小于90°。當yMk≥y0、yM(k+1)≥y0時：若滿足xM(k+1)≥xMk，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；若滿足xM(k+1)≤xMk，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度。當yMk≤y0、yM(k+1)≤y0時：若滿足xM(k+1)≥xMk，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；若滿足xM(k+1)≤xMk，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度。當yMk≥y0、yM(k+1)≤y0時：若滿足xMk≥x0、xM(k+1)≥x0，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；若滿足xMk≤x0、xM(k+1)≤x0，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度。當yMk≤y0、yM(k+1)≥y0時：若滿足xMk≥x0、xM(k+1)≥x0，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；若滿足xMk≤x0、xM(k+1本文檔來自技高網...

【技術保護點】
一種基于方向盤圖像的司機疲勞檢測方法，主要步驟如下：步驟Ⅰ、取得模板圖像攝像頭安裝于駕駛室內的頂部，攝像頭的視頻信號輸出線與檢測裝置的中心處理器連接；攝像頭采集靜止的方向盤圖像，作為初始圖像存儲；中心處理器對初始圖像進行去噪處理后，存儲為模板圖像；在方向盤圓上的點與攝像頭拍攝到的圖像橢圓上的點一一對應，圖像橢圓上某一點m(x

【技術特征摘要】
1.一種基于方向盤圖像的司機疲勞檢測方法，主要步驟如下：步驟Ⅰ、取得模板圖像攝像頭安裝于駕駛室內的頂部，攝像頭的視頻信號輸出線與檢測裝置的中心處理器連接；攝像頭采集靜止的方向盤圖像，作為初始圖像存儲；中心處理器對初始圖像進行去噪處理后，存儲為模板圖像；在方向盤圓上的點與攝像頭拍攝到的圖像橢圓上的點一一對應，圖像橢圓上某一點m(xm，ym)與方向盤圓上的對應點M(xM，yM)之間的對應關系是xM＝xm、式中半徑R為橢圓長半軸，R的長度不變；步驟Ⅱ、取得方向盤圓心位置坐標o(x0,y0)Ⅱ-1、方向盤外輪廓對步驟Ⅰ所得的模板圖像采用OpenCV開源視覺庫自帶的findContours()函數，通過設置相應的參數得到方向盤圖像的外輪廓上的各點坐標；Ⅱ-2、方向盤圓心位置坐標由步驟Ⅱ-1確定的方向盤圖像的外輪廓上的5個坐標點(xm1,ym1,xm2,ym2,...,xm5,ym5)，確定橢圓方程，得到橢圓中心位置坐標o(x0,y0)；步驟Ⅲ、特征點跟蹤本方法采用光流法，針對每一個視頻序列，與模板圖像匹配，檢測當前方向盤圖像轉動的角度；在方向盤上取具有代表性并易于確定的特征點，具有代表性并易于確定的特征點是方向盤轉動后仍能在方向盤圖像上明確定位的點；通過迭代求得當前幀中方向盤圖像中的特征點坐標位置和在下一幀中的坐標位置，根據該特征點在當前幀的坐標與該特征點在下一幀的坐標計算得出從當前幀到下一幀該特征點轉動的角度,也就是方向盤轉動的角度；步驟Ⅳ、計算方向盤相鄰兩幀轉動的角度θ以下角度θ的計算采用方向盤圓上特征點A的位置坐標；由步驟Ⅱ確定了方向盤圓心o(x0，y0)，步驟Ⅲ確定了當前幀特征點位置A0(xM01，yM01)的坐標，當方向盤轉動一個角度θ后，再確定特征點A0(xM01，yM01)對應的下一幀特征點位置A1(xM11，yM11)的坐標；圓心o(x0，y0)和A0(xM01，yM01)、A1(xM11，yM11)連線的夾角為θ1，即特征點A轉動角度，步驟Ⅴ、方向盤圖像的特征點轉動角度令方向盤圓心坐標為o(x0，y0)，第k幀圖像、第k+1幀圖像中特征點的坐標分別為Dk(xMk，yMk)、Dk+1(xM(k+1)，yM(k+1))，相鄰兩幀圖像中特征點轉動角度小于90°；當yMk≥y0、yM(k+1)≥y0時：若滿足xM(k+1)≥xMk，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；若滿足xM(k+1)≤xMk，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；當yMk≤y0、yM(k+1)≤y0時：若滿足xM(k+1)≥xMk，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；若滿足xM(k+1)≤xMk，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；當yMk≥y0、yM(k+1)≤y0時：若滿足xMk≥x0、xM(k+1)≥x0，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；若滿足xMk≤x0、xM(k+1)≤x0，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；當yMk≤y0、yM(k+1)≥y0時：若滿足xMk≥x0、xM(k+1)≥x0，說明第k+1幀圖像相對于第k幀圖像逆時針轉動一個角度；若滿足xMk≤x0、xM(k+1)≤x0，說明第k+1幀圖像相對于第k幀圖像順時針轉動一個角度；本方法規定下一幀方向盤相對當前幀方向盤順時針轉動角度θ為負，逆時針轉動則θ為正；依次累加每幀方向盤圖像轉動角度，當某時間段內累加值大于360°，即此時間段內方向盤相對模板圖像的位置逆時針轉動超過一周；當累加值小于-360°，即此時間段內方向盤相對模板圖像的位置順時針轉動超過一周；步驟Ⅵ、提取技術指標零速百分比和角度標準差當某時間段t內方向盤角度改變的頻度減少，也就是出現了司機對方向盤的修正頻度減少特征時，方向盤不動的時間增多，作為本方法的技術指標——零速百分比PNS，表征所選時間段內方向盤不動的程度，所述時間段t為50～80秒；零速百分比PNS的定義如下式所示:本發明采樣頻率為8～12幀/秒，PNSi代表第i幀的零速百分比，Ni代表第i幀前t秒內角速度的總采樣點數，ni代表第i幀前t秒內角速度在±0.1°/s之間的點數；另一技術指標角度標準差的定義如下式所示：其中：θj為第j幀對應的方向盤轉動的角度，μ表示m2幀內平均每幀方向盤轉動角度值；步驟Ⅶ、支持向量機分類算法綜合步驟Ⅵ所得的零速百分比PNS和角度標準差σ，采用支持向量機分類算法判斷司機是否處于疲勞狀態；支持向量機分類算法先訓練樣本集，在樣本空間中找到一個劃分不同類別樣本的超平面，該超平面對應的模型為ωTx+b＝0，模型參數ω為法向量、b為位移項，T為轉置、x為零速百分比和角度標準差組成的自變量；由超平面模型求出的決策函數f(x)＝sgn[(ω*×x)+b*]其中sgn[(ω*×x)+b*]為符號函數，當ω*×x+b>0f(x)＝1,當ω*×x+b＝0f(x)＝0,當ω*×x+b<0f(x)＝-1；根據車輛行駛在上述不同路段下的W個訓練樣本，W為80～150，由支持向量機分類算法學習，求出區分司機處于清醒狀態還是疲勞狀態的決策函數f(x)；在司機實際駕駛過程中攝像頭實時采集方向盤圖像，經過處理得出方向盤轉角，進而求出當前零速百分比和角度表準差的值，當前零速百分比和角度表準差的值代入已經求出的決策函數f(x)，若f(x)＝1則說明當前司機處于疲勞狀態，系統立即報警。2.根據權利要求1所述的基于方向盤圖像的司機疲勞檢測方法，其特征在于：所述步驟Ⅰ包括如下步驟：Ⅰ-1...

【專利技術屬性】
技術研發人員：李海標，蔣鵬民，黃名柏，
申請(專利權)人：桂林電子科技大學，
類型：發明
國別省市：廣西,45