本發(fā)明專利技術(shù)提出了一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，包括:S1.監(jiān)控服務(wù)器將客戶端和目標服務(wù)器之間的所有的會話數(shù)據(jù)截獲并復制數(shù)據(jù)副本到本地;S2.將所述的數(shù)據(jù)副本轉(zhuǎn)發(fā)到語義提取服務(wù)器進行語義的提取；S3.從所述的數(shù)據(jù)副本中獲取鼠標點擊坐標（x0,y0），頂點確定之后就可以截取出所點擊的圖標元素的區(qū)域圖像；S4.提取區(qū)域圖像的三種特征，然后分別作為三個事先訓練好的分類器，與特征庫中的數(shù)據(jù)特征進行對比輸出語義結(jié)果。本發(fā)明專利技術(shù)還公開了一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的裝置和系統(tǒng)。實施本發(fā)明專利技術(shù)的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，裝置和系統(tǒng)能夠識別遠程桌面語義，實現(xiàn)高效和低成本的遠程桌面監(jiān)控，用戶體驗度高。
【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及通訊領(lǐng)域，特別涉及一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法、裝置及其系統(tǒng)。
技術(shù)介紹
在網(wǎng)絡(luò)運維中，遠程桌面應(yīng)用監(jiān)控是非常重要的一個環(huán)節(jié)。遠程桌面會話產(chǎn)生的日志數(shù)據(jù)通常是以視頻數(shù)據(jù)的形式存儲。目前的遠程桌面監(jiān)控方式主要通過觀看監(jiān)控視頻獲取主要信息，目前尚未存在能夠識別遠程桌面語義的方法。這種監(jiān)控方式存在幾個方面的缺點:1.視頻數(shù)據(jù)占據(jù)空間大，存儲資源消耗高。視頻數(shù)據(jù)包含大量的冗余信息，這些冗余信息占總的日志信息的很大一部分，目前還沒有好的辦法消除這些冗余信息。2.視頻數(shù)據(jù)的回放時間成本和人力成本高。視頻數(shù)據(jù)的記錄是按照自然時間的流逝進行，所以在回放時候需要花費等量的時間成本才能了解整個視頻的內(nèi)容。3.視頻數(shù)據(jù)做不到準確定位。在未對整體記錄了解之前，無法定位到某個操作發(fā)生的特定點。針對視頻監(jiān)控的這些缺點，有一個主要的方法進行解決。就是進行視頻摘要的提取。視頻摘要是把視頻中的一些關(guān)鍵幀提取出來作為整個視頻內(nèi)容的描述。但是視頻摘要只是減弱了視頻監(jiān)控的缺點，未能從根本上解決其問題。其缺點包括:1.無法實現(xiàn)實時的處理方式，必須進行后期處理。視頻摘要的提取需要對總的視頻進行分析處理。`2.視頻摘要提取對硬件要求高。目前還沒有非常高效的視頻摘要的提取算法，如果硬件資源不足，這將是一個非常漫長的過程。3.視頻摘要對于復雜變化的視頻效果不顯著。如果視頻變化頻繁，意味著關(guān)鍵幀的數(shù)量非常多。這樣提取得到的視頻摘要依然比較大量，仍然造成大量時間成本和人力成本的發(fā)生。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的是提供一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法、裝置及其系統(tǒng)，以解決上述視頻監(jiān)控中存在的存儲空間大、效率低、無法準確定位、時間和人力成本高的缺點和問題，實現(xiàn)高效和低成本的遠程桌面監(jiān)控。解決上述問題，本專利技術(shù)采用了如下技術(shù)方案:本專利技術(shù)公開了一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，包括:S1.監(jiān)控服務(wù)器將客戶端和目標服務(wù)器之間的所有的會話數(shù)據(jù)截獲并復制數(shù)據(jù)副本到本地；S2.將所述的數(shù)據(jù)副本轉(zhuǎn)發(fā)到語義提取服務(wù)器進行語義的提取；S3.從所述的數(shù)據(jù)副本中獲取鼠標點擊坐標(x0，y0)，然后從該點出發(fā)向屏幕圖像的上方查找邊緣點，再從結(jié)果的邊緣點中查找水平距離最大的邊緣點，這個點即是網(wǎng)格區(qū)域的四個頂點之一，再其次就可以分別從水平和垂直兩個方向找到剩余的3個頂點，頂點確定之后就可以截取出所點擊的圖標元素的區(qū)域圖像；S4.提取區(qū)域圖像的三種特征:顏色直方圖特征、邊緣直方圖特征和紋理特征，然后分別作為三個事先訓練好的分類器，與特征庫中的數(shù)據(jù)特征進行對比輸出語義結(jié)果。在本專利技術(shù)所述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法中，步驟S4后還包括以下步驟:S5.根據(jù)用戶的后續(xù)輸入，進行下一步的輸入判斷；S6.如果輸入的是點擊，則需要判斷是否點擊落在上一步截取的區(qū)域之內(nèi)；如果不在，則進入未選中狀態(tài)，并輸出相應(yīng)的文本信息到實時監(jiān)控客戶端；如果是落在同一區(qū)域，則進入重命名狀態(tài)，并輸出語義結(jié)果；S7.如果輸入的是“delete”鍵，則進入確認刪除狀態(tài)，輸出語義結(jié)果。在本專利技術(shù)所述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法中，所述的分類器完成第一層的語義識別處理，輸出的結(jié)果是在使用關(guān)聯(lián)特征類型情況下計算輸入和特征庫中所有語義模型之間的相似度；二層分類器會對第一層的輸出結(jié)果進行過濾得到候選的結(jié)果；如果候選結(jié)果多于一個，則對候選結(jié)果執(zhí)行模板匹配算法，模板為預先為每一個語義模型保存的標準圖標圖像，匹配的圖像為輸入的區(qū)域圖像；步驟執(zhí)行完之 后就得到了確定的一個語義結(jié)果；這個語義結(jié)果在切換到狀態(tài)“選中”的時候會輸入到實時監(jiān)控客戶端的文本監(jiān)控窗口，同時保存至日志數(shù)據(jù)庫中，以備以后的日志回放。在本專利技術(shù)所述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法中，所述的特征庫具有若干個文字或單詞的字體的圖像特征。本專利技術(shù)公開了一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的裝置，包括:會話數(shù)據(jù)截獲單元，用于監(jiān)控服務(wù)器將客戶端和目標服務(wù)器之間的所有的會話數(shù)據(jù)截獲并復制數(shù)據(jù)副本到本地；語義提取單元，用于將所述的數(shù)據(jù)副本轉(zhuǎn)發(fā)到語義提取服務(wù)器進行語義的提取；邊緣點查找單元，用于從所述的數(shù)據(jù)副本中獲取鼠標點擊坐標(x0，y0)，然后從該點出發(fā)向屏幕圖像的上方查找邊緣點，再從結(jié)果的邊緣點中查找水平距離最大的邊緣點，這個點即是網(wǎng)格區(qū)域的四個頂點之一，再其次就可以分別從水平和垂直兩個方向找到剩余的3個頂點，頂點確定之后就可以截取出所點擊的圖標元素的區(qū)域圖像；區(qū)域圖像特征提取單元，用于提取區(qū)域圖像的三種特征:顏色直方圖特征、邊緣直方圖特征和紋理特征，然后分別作為三個事先訓練好的分類器，與特征庫中的數(shù)據(jù)特征進行對比輸出語義結(jié)果。在本專利技術(shù)所述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的裝置中，所述的區(qū)域圖像特征提取單元后還包括以下單元:后續(xù)輸入單元，用于根據(jù)用戶的后續(xù)輸入，進行下一步的輸入判斷；點擊判斷單元，用于如果輸入的是點擊，則需要判斷是否點擊落在上一步截取的區(qū)域之內(nèi)；如果不在，則進入未選中狀態(tài)，并輸出相應(yīng)的文本信息到實時監(jiān)控客戶端；如果是落在同一區(qū)域，則進入重命名狀態(tài)，并輸出語義結(jié)果；刪除狀態(tài)判斷單元，用于如果輸入的是“delete”鍵，則進入確認刪除狀態(tài)，輸出語義結(jié)果。本專利技術(shù)公開了一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的系統(tǒng)，包括:遠程連接客戶端、遠程目標服務(wù)器、監(jiān)控服務(wù)器、語義提取服務(wù)器、定時監(jiān)控客戶端，其中，所述的遠程連接客戶端、遠程目標服務(wù)器及語義提取服務(wù)器均與監(jiān)控服務(wù)器相連，所述的語義提取服務(wù)器還與定時監(jiān)控客戶端相連，所述的監(jiān)控服務(wù)器具有上述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的裝置。在本專利技術(shù)所述的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的系統(tǒng)中，所述的定時監(jiān)控客戶端包括智能手機和/或電腦和/或智能電視。實施本專利技術(shù)的一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法、裝置及其系統(tǒng)，具有以下有益的技術(shù)效果:本專利技術(shù)與現(xiàn)有技術(shù)相比，采用本專利技術(shù)的在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，裝置及封裝系統(tǒng)，能夠識別遠程桌面語義，實現(xiàn)高效和低成本的遠程桌面監(jiān)控，用戶體驗度聞。附圖說明為了更清楚地說明本專利技術(shù)實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術(shù)的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1本專利技術(shù)一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法流程圖；圖2本專利技術(shù)一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的裝置構(gòu)造方框圖；圖3是本專利技術(shù)一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的系統(tǒng)構(gòu)造方框圖。具體實施例方式下面將結(jié)合本專利技術(shù)實施例中的附圖，對本專利技術(shù)實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術(shù)一部分實施例，而不是全部的實施例。基于本專利技術(shù)中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術(shù)保護的范圍。本專利技術(shù)通過圖像和視頻分析的方法對監(jiān)控日志進行處理，得到用戶一系列操作的描述文本，這些描述文本能夠簡明扼要的表達用戶在遠程控制過程的一系列操作過程，監(jiān)控者通過快速的瀏覽這些文本即能夠了解用戶所做的所有操作過程。請參閱圖1，本專利技術(shù)的較佳實施例，一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，包括:S1.監(jiān)控服務(wù)器將客戶端和目標服務(wù)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
一種在網(wǎng)絡(luò)監(jiān)控中識別遠程桌面語義的方法，其特征在于，包括:S1.監(jiān)控服務(wù)器將客戶端和目標服務(wù)器之間的所有的會話數(shù)據(jù)截獲并復制數(shù)據(jù)副本到本地;S2.將所述的數(shù)據(jù)副本轉(zhuǎn)發(fā)到語義提取服務(wù)器進行語義的提取；S3.從所述的數(shù)據(jù)副本中獲取鼠標點擊坐標（x0,y0），然后從該點出發(fā)向屏幕圖像的上方查找邊緣點，再從結(jié)果的邊緣點中查找水平距離最大的邊緣點，這個點即是網(wǎng)格區(qū)域的四個頂點之一，再其次就可以分別從水平和垂直兩個方向找到剩余的3個頂點，頂點確定之后就可以截取出所點擊的圖標元素的區(qū)域圖像；S4.提取區(qū)域圖像的三種特征：顏色直方圖特征、邊緣直方圖特征和紋理特征，然后分別作為三個事先訓練好的分類器，與特征庫中的數(shù)據(jù)特征進行對比輸出語義結(jié)果。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李翠微，
申請(專利權(quán))人：廣州天銳鋒信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。