一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法技術(shù)方案

本發(fā)明專利技術(shù)提供了一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，包括：將所拍攝圖像映射到和該圖像的大小和位置相對應(yīng)的屏幕上；用有物體運動時的圖減去背景圖獲得用于處理的圖像；進而提取輪廓檢測出手指或者書寫筆所在的位置；將前一幀圖像的跟蹤結(jié)果與本幀圖像的檢測點進行匹配；判斷上一幀圖像中出現(xiàn)的檢測點是否為空，若為空則給予該軌跡id標注，軌跡狀態(tài)為按下；否則前一幀的點與本幀的點距離最近并小于一定匹配閾值，則上一幀的點與本幀的點匹配并存入匹配列表，上一幀中所有的點減去已匹配的點，則為松開狀態(tài)，并存入松開狀態(tài)列表，本幀的所有點減去未匹配點則為新點；對上面檢測出的運動軌跡進行標注；判斷運動軌跡的長按、畫線、單擊和雙擊行為。

Method for judging interaction behavior state of large screen system

The present invention provides a method for judging and interactive behavior of large screen system includes: a captured image is mapped to the corresponding image and the size and location of the screen; with a motion graph graph for subtracting background image; and then extract the contour detected by the finger or pen position; match detection point tracking results of the previous image frame and the frame; a judgment of the image detection point is empty, if empty is given to the locus of the ID annotation, track state is pressed; otherwise the previous frame and the frame of the nearest point and less than a matching threshold is a frame and the frame of the point matching and stored in the match list, on all points in a frame minus the matching points, is a loose state, and stored in a release state list, all the frames The point minus the unmatched point is the new point. The moving track is labeled, and the long track, line drawing, click and double click behavior of the moving track are judged.

【技術(shù)實現(xiàn)步驟摘要】
一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法
本專利技術(shù)屬于圖像識別處理的
，尤其是指一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法。
技術(shù)介紹
現(xiàn)有的對大屏系統(tǒng)交互行為狀態(tài)的判斷只是利用到了所采集到圖像的這一幀和上一幀的數(shù)據(jù)，并沒有對圖像的歷史運動軌跡信息進行充分利用，因此導(dǎo)致不能對交互行為狀態(tài)進行很好的區(qū)分和判斷，比如說對畫線和雙擊的操作不能很準確的識別，因此亟待一種可以準確判斷大屏系統(tǒng)交互行為狀態(tài)的方法。
技術(shù)實現(xiàn)思路
本專利技術(shù)提供了一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，用跟蹤的方法將離散的數(shù)字化的軌跡點通過匹配跟蹤后，形成連續(xù)的更能代表實際情況的運動軌跡，尤其是對雙擊這種操作在大屏上不連續(xù)的操作也進行了軌跡標注，進而形成連續(xù)性的操作。本專利技術(shù)提供了一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，包括如下步驟：S10、將所拍攝圖像映射到和該圖像的大小和位置相對應(yīng)的屏幕上；S11、用有物體運動時候的圖減去背景圖后，得到用于處理的圖像；再通過提取輪廓檢測出手指或者書寫筆所在的位置；S12、將前一幀圖像的跟蹤結(jié)果與本幀圖像的檢測點進行匹配；判斷上一幀圖像中出現(xiàn)的檢測點是否為空；若為空，則給予該軌跡id標注，軌跡狀態(tài)標注為按下，在軌跡歷史點存儲列表中動態(tài)存入本幀及前八幀圖像數(shù)據(jù)，并將該軌跡歷史點存儲列表的每幀初始坐標值置為(-1，-1)，行為狀態(tài)標注為單擊狀態(tài)，并記錄下當前的幀數(shù)；否則通過當前幀所檢測出的點與上一幀的點進行匹配計算出距離矩陣，當前一幀的點與本幀的點距離最近并小于一定匹配閾值，則認為上一幀的點與本幀的點匹配，存入匹配列表，上一幀中所有的點減去已匹配的點，則標注為松開狀態(tài)，并存入松開狀態(tài)列表，本幀的所有點減去未匹配點，則為新點；S13、對上面檢測出各個交互行為狀態(tài)的點的運動軌跡進行標注；S14、判讀出手指或者書寫筆進行的是長按、畫線、單擊還是雙擊行為。優(yōu)選的，所述的步驟S10之前還包括初始化系統(tǒng)的步驟，具體包括如下：將圖像的軌跡狀態(tài)標注為按下或松開，行為狀態(tài)標注為未知、畫線、長按、單擊、雙擊五種狀態(tài)之一，自大屏系統(tǒng)啟動時開始對攝像頭所拍圖像進行幀數(shù)標記記錄。優(yōu)選的，所述的步驟S12中對于匹配上的點，進行如下處理：將本幀該點id標注為與之匹配的上一幀的id，該點狀態(tài)標記為按下狀態(tài)，當前幀的前第八幀坐標值賦值為上一幀的前第七幀坐標值，當前幀的前第七幀坐標值賦值為上一幀的前第六幀坐標值，即當前幀的前第一幀坐標值賦值為上一幀坐標值，在之后的每一幀出現(xiàn)時都如此更新此歷史點列表，當某一軌跡的歷史點列表存滿8幀時，用第8幀與當前幀的距離差進行判斷，當距離差大于移動閾值時即將該軌跡標注為畫線狀態(tài)，小于移動閾值時則此軌跡標注為長按狀態(tài)，記錄下當前匹配時候的幀數(shù)。優(yōu)選的，所述的步驟S12中，對于上一幀匹配后沒有匹配到的點都標記為松開狀態(tài)，并將該軌跡的行為狀態(tài)標注為未知狀態(tài)，記錄當前匹配時的幀數(shù)。優(yōu)選的，所述的步驟S12中對于新出現(xiàn)的點進行如下的處理：在所有的新出現(xiàn)的點中，在單擊列表中尋找相距在一定距離閾值內(nèi)的點，若存在，則標記為雙擊，如果不存在，則將此點加入單擊列表，軌跡歷史點存儲列表動態(tài)存入本幀及前八幀的圖像數(shù)據(jù)，并將該軌跡歷史點存儲列表每幀初始坐標值置為(-1，-1)。優(yōu)選的，所述的步驟S12和步驟S13之間還包括：將標記為按下狀態(tài)的點存入跟蹤結(jié)果列表，記錄下雙擊操作所需要的幀數(shù)間隔，在跟蹤結(jié)束后將單擊列表中超過雙擊所需幀數(shù)間隔的點進行刪除。優(yōu)選的，所述的步驟S12中的匹配閾值的大小取決于大屏的實際情況，通過調(diào)試獲得。優(yōu)選的，所述的步驟S13的運動軌跡標注具體包括如下步驟：S131、每次對新軌跡標識時候，給予新軌跡進行標記，并將標記記入已標記列表；S132、當舊軌跡消失時，從標記列表中將此軌跡標識刪除；S133、再有新軌跡出現(xiàn)時，先從已標記列表中按照有序化的次序去檢測應(yīng)用的標識符，并用標識名對其進行標識，再將這個標識名記入已標識列表；S134、當被標識為松開狀態(tài)的運動軌跡與當前系統(tǒng)運行幀率之間的差值大于雙擊操作所需要的幀率間隔時，從被標注為松開的列表中刪除掉這些點；S135、當被標識為單擊狀態(tài)的行為軌跡與當前系統(tǒng)運行幀率之間的差值大于雙擊操作所需要的幀率間隔時，從被標注為單擊的列表中刪除掉這些點。由上面的技術(shù)方案可知，本專利技術(shù)提供的大屏系統(tǒng)交互行為狀態(tài)的判斷方法是對各個交互行為狀態(tài)進行軌跡跟蹤，并用一定的跟蹤標注方法對每個軌跡進行跟蹤標注，可以正確判斷出手指或者書寫筆是在進行畫線、長按、單擊或者雙擊操作，尤其是對雙擊這種操作在大屏上不連續(xù)的操作也進行了軌跡標注，進而形成連續(xù)性的操作。附圖說明圖1為本專利技術(shù)實施例提供的一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法的流程圖；圖2為本專利技術(shù)實施例提供的一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法中運動軌跡標注的流程圖。具體實施方式以下結(jié)合具體實施方式進一步詳細說明本專利技術(shù)的技術(shù)方案。應(yīng)當理解，此處描述的具體實施方式僅僅用以解釋本專利技術(shù)，并不用于限定本專利技術(shù)。本專利技術(shù)實施例提供了一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，如圖1所示，包括如下步驟：S10、將所拍攝圖像映射到和該圖像的大小和位置相對應(yīng)的屏幕上；S11、用有物體運動時候的圖減去背景圖后，得到用于處理的圖像；再通過提取輪廓檢測出手指或者書寫筆所在的位置；S12、將前一幀圖像的跟蹤結(jié)果與本幀圖像的檢測點進行匹配；判斷上一幀圖像中出現(xiàn)的檢測點是否為空；若為空，則給予該軌跡id標注，軌跡狀態(tài)標注為按下，在軌跡歷史點存儲列表中動態(tài)存入本幀及前八幀圖像數(shù)據(jù)，并將該軌跡歷史點存儲列表的每幀初始坐標值置為(-1，-1)，行為狀態(tài)標注為單擊狀態(tài)，并記錄下當前的幀數(shù)；否則通過當前幀所檢測出的點與上一幀的點進行匹配計算出距離矩陣，當前一幀的點與本幀的點距離最近并小于一定匹配閾值，則認為上一幀的點與本幀的點匹配，存入匹配列表，上一幀中所有的點減去已匹配的點，則標注為松開狀態(tài)，并存入松開狀態(tài)列表，本幀的所有點減去未匹配點，則為新點；S13、對上面檢測出各個交互行為狀態(tài)的點的運動軌跡進行標注；S14、判讀出手指或者書寫筆進行的是長按、畫線、單擊還是雙擊行為。優(yōu)選的，所述的步驟S10之前還包括初始化系統(tǒng)的步驟，具體包括如下：將圖像的軌跡狀態(tài)標注為按下或松開，行為狀態(tài)標注為未知、畫線、長按、單擊、雙擊五種狀態(tài)之一，自大屏系統(tǒng)啟動時開始對攝像頭所拍圖像進行幀數(shù)標記記錄。優(yōu)選的，所述的步驟S12中對于匹配上的點，進行如下處理：將本幀該點id標注為與之匹配的上一幀的id，該點狀態(tài)標記為按下狀態(tài)，當前幀前第八幀坐標值賦值為上一幀前第七幀坐標值，當前幀的前第七幀坐標值賦值為上一幀的前第六幀坐標值，即當前幀前第一幀坐標值賦值為上一幀坐標值，在之后的每一幀出現(xiàn)時都如此更新此歷史點列表，當某一軌跡的歷史點列表存滿8幀時，用第8幀與當前幀的距離差進行判斷，當距離差大于移動閾值時即將該軌跡標注為畫線狀態(tài)，小于移動閾值時則此軌跡標注為長按狀態(tài)，記錄下當前匹配時候的幀數(shù)。優(yōu)選的，所述的步驟S12中，對于上一幀匹配后沒有匹配到的點都標記為松開狀態(tài)，并將該軌跡的行為狀態(tài)標注為未知狀態(tài)，記錄當前匹配時的幀數(shù)。優(yōu)選的，所述的步驟S12中對于新出現(xiàn)的點進行如下的處理：在所有的新出現(xiàn)的點中，在單擊列表中尋找相距在一定距離閾值內(nèi)的點，若存在本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，其特征在于，包括如下步驟：S10、將所拍攝圖像映射到和該圖像的大小和位置相對應(yīng)的屏幕上；S11、用有物體運動時候的圖減去背景圖后，得到用于處理的圖像；再通過提取輪廓檢測出手指或者書寫筆所在的位置；S12、將前一幀圖像的跟蹤結(jié)果與本幀圖像的檢測點進行匹配；判斷上一幀圖像中出現(xiàn)的檢測點是否為空；若為空，則給予該軌跡id標注，軌跡狀態(tài)標注為按下，在軌跡歷史點存儲列表中動態(tài)存入本幀及前八幀圖像數(shù)據(jù)，并將該軌跡歷史點存儲列表的每幀初始坐標值置為(?1，?1)，行為狀態(tài)標注為單擊狀態(tài)，并記錄下當前的幀數(shù)；否則通過當前幀所檢測出的點與上一幀的點進行匹配計算出距離矩陣，當前一幀的點與本幀的點距離最近并小于一定匹配閾值，則認為上一幀的點與本幀的點匹配，存入匹配列表，上一幀中所有的點減去已匹配的點，則標注為松開狀態(tài)，并存入松開狀態(tài)列表，本幀的所有點減去未匹配點，則為新點；S13、對上面檢測出各個交互行為狀態(tài)的點的運動軌跡進行標注；S14、判讀出手指或者書寫筆進行的是長按、畫線、單擊還是雙擊行為。

【技術(shù)特征摘要】
1.一種大屏系統(tǒng)交互行為狀態(tài)的判斷方法，其特征在于，包括如下步驟：S10、將所拍攝圖像映射到和該圖像的大小和位置相對應(yīng)的屏幕上；S11、用有物體運動時候的圖減去背景圖后，得到用于處理的圖像；再通過提取輪廓檢測出手指或者書寫筆所在的位置；S12、將前一幀圖像的跟蹤結(jié)果與本幀圖像的檢測點進行匹配；判斷上一幀圖像中出現(xiàn)的檢測點是否為空；若為空，則給予該軌跡id標注，軌跡狀態(tài)標注為按下，在軌跡歷史點存儲列表中動態(tài)存入本幀及前八幀圖像數(shù)據(jù)，并將該軌跡歷史點存儲列表的每幀初始坐標值置為(-1，-1)，行為狀態(tài)標注為單擊狀態(tài)，并記錄下當前的幀數(shù)；否則通過當前幀所檢測出的點與上一幀的點進行匹配計算出距離矩陣，當前一幀的點與本幀的點距離最近并小于一定匹配閾值，則認為上一幀的點與本幀的點匹配，存入匹配列表，上一幀中所有的點減去已匹配的點，則標注為松開狀態(tài)，并存入松開狀態(tài)列表，本幀的所有點減去未匹配點，則為新點；S13、對上面檢測出各個交互行為狀態(tài)的點的運動軌跡進行標注；S14、判讀出手指或者書寫筆進行的是長按、畫線、單擊還是雙擊行為。2.根據(jù)權(quán)利要求1所述的判斷方法，其特征在于，所述的步驟S10之前還包括初始化系統(tǒng)的步驟，具體包括如下：將圖像的軌跡狀態(tài)標注為按下或松開，行為狀態(tài)標注為未知、畫線、長按、單擊、雙擊五種狀態(tài)之一，自大屏系統(tǒng)啟動時開始對攝像頭所拍圖像進行幀數(shù)標記記錄。3.根據(jù)權(quán)利要求1所述的判斷方法，其特征在于，所述的步驟S12中對于匹配上的點，進行如下處理：將本幀該點id標注為與之匹配的上一幀的id，該點狀態(tài)標記為按下狀態(tài)，當前幀的第八幀坐標值賦值為第七幀坐標值，當前幀的第七幀坐標值賦值為第六幀坐標值，即當前幀前第一幀坐標值賦值為上一幀坐標值，在之后的每一幀出現(xiàn)時都如此更新此歷史點列表，當某一軌跡的歷史點列表存滿8幀時，用第8幀與當前幀的距離差進行...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：譚登峰，康三順，
申請(專利權(quán))人：北京仁光科技有限公司，
類型：發(fā)明
國別省市：北京,11