【技術實現步驟摘要】
本申請涉及多智能體系統，特別涉及一種基于視覺指令的多無人機機間信息傳遞方法。
技術介紹
1、隨著無人機自主化和組網化通信技術的發展，無人機的作戰用模式也在不斷發展，單架無人機由于受到探測能力、載荷視場角等因素限制，難以完成復雜的作戰任務。無人機集群相對于單個無人機系統，可利用其規模優勢，完成復雜任務，且更加具有強生存能力。然而當前針對無人機集群作戰的相關研究大都依賴無線通信來實現無人機間的自主協同，未來隨著電磁干擾技術的愈加成熟，基于無線通信的無人機集群的作戰能力將大大降低。基于視覺指令的無人機集群由于其不依賴機間通信、“被動感知”的特質，有望在拒止環境或通信靜默條件下中實現高度智能化集群。
2、當前，國內外已有一些團隊針對基于純視覺實現無人機集群編隊協同開展了相關研究。張永偉團隊提出了一種基于視覺的無人機降落和無人機之間避碰的方法，它將減少預期圖像和實際圖像的差異作為控制目標，并采用外部多相機定位系統測量控制輸入；soria等分析了視覺傳感器視場大小和安裝位置對集群安全性、有序性、聚集性等指標的影響，有助于真實無人機集群系統確定視覺傳感器的選型和安裝方向；yang等將智能體的視覺細分為視覺感知線來感知障礙信息，并設置視場矩陣來存儲障礙物信息，最終讓智能體朝著障礙物空白區域的中心移動。
3、這些研究僅僅聚焦于無人機降落、避撞、視覺傳感器選型安裝等某一技術點，未形成完整的基于視覺實現集群編隊的方法和策略。申曉東團隊研究了在僅有視覺感知的情況下如何實現無人機編隊隊形變換的問題，建立了隊形切換過程中防止視覺遮擋
4、綜上所述，當前國內外基于純視覺實現無人機集群編隊協同的相關研究較少，且仍未形成高效、完整、可適應真實作戰場景的基于視覺實現集群編隊的方法和策略。
技術實現思路
1、本申請提供了一種基于視覺指令的多無人機機間信息傳遞方法，可用于解決基于純視覺實現無人機集群編隊協同的相關研究較少的技術問題。
2、本申請提供一種基于視覺指令的多無人機機間信息傳遞方法，方法包括：
3、步驟1，確定基于燈光信號的視覺指令庫；視覺指令庫用于無人機之間傳遞信息；無人機分為領導者leader，以及跟隨者follower；
4、步驟2，leader無人機持續傳播燈光指令；leader無人機基于視覺指令庫依次切換至對應的燈光狀態，持續傳播燈光指令，使得follower無人機可識別leader無人機發出的燈光指令信息；
5、步驟3，follower無人機使用復雜背景下基于外觀和運動信息的無人機檢測識別實現對leader無人機的檢測；通過全局-局部相結合的無人機檢測器，進行無人機識別leader無人機；
6、步驟4：follower無人機使用基于視覺的燈光指令識別算法實現對leader無人機傳播燈光指令的識別。
7、步驟5，follower無人機基于檢測識別到的leader無人機及其傳播的燈光指令信號，進行指令庫匹配，并根據匹配結果即時響應編隊策略，基于虛擬結構法調整自身與leader間相對位置，實現自主編隊執行。
8、進一步地，視覺指令庫的呈現形式由燈光完成，燈光的展現形式包括兩方面內容：燈光的顏色和燈光的閃爍模式，燈光的顏色包括多種顏色，燈光的閃爍模式包括連續兩次閃爍模式、單次閃爍模式、間隔一個時間單位閃爍模式和間隔兩個時間單位閃爍模式。
9、進一步地，無人機之間的傳播機制為leader無人機通過連續兩次閃爍來標識自己用于向下傳播指令信息，而follower無人機通過單次閃爍來響應表示已收到信息；
10、燈光閃爍模式和顏色分為四類，分別為：
11、啟動和任務結束類，包括啟航即啟動無人機，準備進入任務狀態；返航即無人機返回起始點或預定的返航點；
12、集結類，包括聚集即無人機向指定的集結點飛行，形成一個集群；
13、分布與執行類，包括散開即集群分散，按照任務需求分布；跟隨即跟隨目標進行任務執行；
14、位置調整以及保持類，調整包括升高、下降、左平移、左平移以及相應調整的單位距離以及單位距離個數；保持位置即無人機在當前空中位置保持靜止。
15、進一步地，步驟3，follower無人機使用復雜背景下基于外觀和運動信息的無人機檢測識別實現對leader無人機的檢測；包括：
16、步驟31，確定全局檢測器，全局檢測器用于在全尺寸圖像中搜索無人機目標；全局檢測器包括基于外觀的檢測模塊和基于運動的檢測模塊；基于運動特征的無人機檢測包括運動補償、運動目標檢測、無人機分類三個部分；
17、步驟32，確定局部檢測器；
18、在全局檢測器檢測到無人機目標后，激活局部檢測器，在從目標周圍鄰近區域裁剪的局部搜索區域內進行后續檢測；局部檢測器包括一個局部基于外觀的模塊和一個局部基于運動的模塊；
19、步驟33，通過切換器來協調全局和局部檢測器；
20、當局部檢測器總中目標檢測失敗一定時間，即目標確定丟失后，通過切換器來重新調用全局檢測器。
21、進一步地，步驟31，確定全局檢測器，包括：
22、步驟311，運動補償：采用單應性矩陣來描述連續幀圖片間的運動關系，并利用透視變換對連續幀圖片進行對齊；
23、首先，在前一幀圖片中選擇均勻分布的網格點作為初始關鍵點，然后利用金字塔lucas-kanade光流法計算當前幀中對應的關鍵點，得到匹配后的特征點對；
24、然后，基于匹配后的特征點對計算單應矩陣，采用了迭代ransac剔除異常點帶來的干擾；
25、基于單應矩陣，通過透視變換對齊相鄰幀圖片；
26、步驟312，運動目標檢測：采用多幀差分法獲取候選運動目標；
27、采用三幀差分法來提高運動目標檢測效果，對于連續3幀圖片f_(t-1)(x,y)、f_t(x,y)、f_(t+1)(x,y)，首先使用中值濾波來消除椒鹽噪聲，然后對中間幀和其它2幀分別進行差分操作：
28、fd_12(x,y)＝|f_t(x,y)-f_(t-1)(x,y)|
29、fd_23(x,y)＝|f_t(x,y)-f_(t+1)(x,y)|
30、其中，fd_12(x,y)為t與t-1時刻絕對差分值；fd_23(x,y)為t與t+1時刻絕對差分值；
31、接著，使用動態閾值對差分圖進行閾值分割和二值化，并對差分圖進行邏輯與本文檔來自技高網...
【技術保護點】
1.一種基于視覺指令的多無人機機間信息傳遞方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，視覺指令庫的呈現形式由燈光完成，燈光的展現形式包括兩方面內容：燈光的顏色和燈光的閃爍模式，燈光的顏色包括多種顏色，燈光的閃爍模式包括連續兩次閃爍模式、單次閃爍模式、間隔一個時間單位閃爍模式和間隔兩個時間單位閃爍模式。
3.根據權利要求2所述的方法，其特征在于，無人機之間的傳播機制為Leader無人機通過連續兩次閃爍來標識自己用于向下傳播指令信息，而Follower無人機通過單次閃爍來響應表示已收到信息；
4.根據權利要求1所述的方法，其特征在于，步驟3，Follower無人機使用復雜背景下基于外觀和運動信息的無人機檢測識別實現對Leader無人機的檢測；包括：
5.根據權利要求4所述的方法，其特征在于，步驟31，確定全局檢測器，包括：
6.根據權利要求1所述的方法，其特征在于，步驟4：Follower無人機使用基于視覺的燈光指令識別算法實現對Leader無人機傳播燈光指令的識別，包括：
7.根
8.根據權利要求6所述的方法，其特征在于，步驟42，基于時空聯合的動態燈光指令識別，包括：
...【技術特征摘要】
1.一種基于視覺指令的多無人機機間信息傳遞方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，視覺指令庫的呈現形式由燈光完成，燈光的展現形式包括兩方面內容：燈光的顏色和燈光的閃爍模式，燈光的顏色包括多種顏色，燈光的閃爍模式包括連續兩次閃爍模式、單次閃爍模式、間隔一個時間單位閃爍模式和間隔兩個時間單位閃爍模式。
3.根據權利要求2所述的方法，其特征在于，無人機之間的傳播機制為leader無人機通過連續兩次閃爍來標識自己用于向下傳播指令信息，而follower無人機通過單次閃爍來響應表示已收到信息；
4.根據權利要求1所述的方法，其特征...
【專利技術屬性】
技術研發人員：田聰玲，李劉杰，張亞倫，游峰，李俊達，田一申，劉琰，楊承川，徐旋孜，董珂，
申請(專利權)人：杭州智元研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。