【技術實現步驟摘要】
本專利技術屬于自動駕駛與計算機視覺研究領域，具體涉及一種自動駕駛車輛位姿估計方法。
技術介紹
1、隨著近年來人工智能和深度學習技術的迅速發展，基于深度學習的位姿估計方法變得日益重要。位姿估計是指根據輸入的圖像或視頻數據，準確地推斷出目標物體的位置、方向和姿態。這一技術在計算機視覺、機器人學、增強現實等領域有著廣泛的應用。
2、深度學習技術的發展為位姿估計帶來了巨大的改進。傳統的位姿估計方法通常依賴于手工設計的特征和模型，這些方法在復雜場景和變化多端的情況下表現不佳。而基于深度學習的方法可以自動地從大量數據中學習到特征和模式，從而更好地適應復雜的場景和變化。
3、為了解決將先驗點云擬合到目標對象并執行形狀變形的問題，確保足夠的信息可用于變形過程至關重要。傳統的物體位姿估計方法包括利用rgb-d圖像直接回歸出目標最終姿態和利用rgb圖像和點云特征信息直接連接起來回歸出物體位姿。但這些傳統的方法忽略了實例特征和類別特征的之間區別以及rgb圖像和點云特征之間的區別，導致在物體位姿估計過程中物體擬合的準確性降低。同時，在嚴重遮擋的場景中會影響性能。
4、因此，上述技術的位姿估計方法，忽略了特征之間差異性，在復雜背景中會導致物體信息提取的不充分。同時在對目標進行擬合過程中，會導致準確下降。在實際使用中的精度還有待提高，故，亟需改進。
技術實現思路
1、針對上述現有技術的不足，本專利技術提出一種自動駕駛車輛位姿估計方法，即使在陌生環境的情況下，也能更好的估計圖
2、為了解決上述技術問題，本專利技術采用了如下的技術方案：
3、一種自動駕駛車輛位姿估計方法，其關鍵技術在于，按照以下步驟進行：
4、一種自動駕駛車輛位姿估計方法，其特征在于，所述方法包括：
5、s1：從汽車攝像頭視角獲取的車輛行駛中的道路彩色圖片，將彩色圖片和同類汽車的3d模型作為模型的輸入數據；
6、s2：通過基于mask-rcnn的網絡，獲得圖像中汽車的實例圖像和汽車深度圖像中汽車的3d點云；
7、s3：對得到的汽車實例圖像和汽車點云分別使用pspnet和pointnet++網絡進行特征提??；
8、s4：通過基于transformer的融合模塊融合以上提取的實例特征，利用fsam對特征進行編碼，結合fsam和fcam模塊進行解碼融合不同特征，得到實例全局特征；
9、s5：對輸入的3d汽車模型采用基于resnet-1網絡gsenet提取模型的全局形狀特征，在采用pointnet++網絡提取特征，得到類別級特征；
10、s6：通過將得到的全局形狀特征和實例特征輸入到先驗自適應模塊中得到新的類級別全局特征，其次，通過使用基于transformer的融合模塊對類級別全局特征和實例全局特征融合得到注意力矩陣；
11、s7：將s6得到的注意力矩陣引入到基于transformer的注意力模塊對s5得到的特征在幾何空間和特征空間進行變形，得到旋轉角度、大小、平移。
12、進一步地：步驟s1的具體內容：
13、s11：從汽車攝像頭視角獲取的車輛行駛中的道路彩色圖片。將圖片分辨率寬、高統一設置為w,h。
14、s12：將汽車類內已知的3d模型作為輸入。
15、進一步地：步驟s2的具體內容：
16、s21：使用mask-rcnn網絡檢測圖像中的汽車對象，并獲得實例掩碼。
17、s22：基于掩碼，裁剪出圖像中汽車對象，并將裁剪的圖像大小調整為io∈rh×w×3。
18、s23：根據mask-rcnn網絡得到的深度圖像，裁剪出汽車相應位置，并根據相機內參矩陣生產汽車的點云，從點云中隨機采樣no個點作為場景點云
19、進一步地：步驟s3的具體內容：
20、s31：將步驟s2得到圖像io和點云po分別輸入到pspnet和pointnet++網絡中提取特征，得到圖像特征和點云特征
21、進一步地：步驟s4的具體內容：
22、s41：基于transformer的融合模塊由編碼器和解碼器組成，其中編碼器過程使用fsam模塊對特征映射進行編碼，解碼器過程同時使用fsam模塊和fcam模塊融合不同來源特征。
23、s42：根據s31得到的圖像特征和點云特征fo∈rn×d，通過一系列mlp將特征映射成fsam模塊所需要的查詢、鍵和值。
24、
25、其中q、k、v分別表示查詢、鍵和值，e表示在編碼器過程中使用的參數。
26、s43：根據s42得到的參數，使用fsam模塊來生成編碼特征，得到
27、
28、其中fsam表示fsam模塊，滿足
29、
30、其中dk為k的維度。
31、s44：得到的基礎上，將引入解碼器，并使用fsam進行特征提取,得到
32、
33、其中q、k、v分別表示查詢、鍵和值，d表示在編碼器過程中使用的參數。
34、s45：根據s44得到使用fcam模塊來融合rgb圖像和點云特征。
35、
36、其中q、k、v分別表示查詢、鍵和值，fcam表示fcam模塊，滿足
37、
38、式中i,j∈{rgb,o},i＝j。
39、s46：由s44和s45組成的解碼器，得到特征因此可以將rgb圖像與點云特征進行互補融合得到frgb,fo。并將特征圖按通道維度拼接進行拼接得到實例特征最后應該mlp生成實例全局特征
40、
41、其中表示實例局部特征，表示通道維度拼接，表示生成的實例全局特征。
42、進一步地：步驟s5的具體內容：
43、s51：將步驟s12輸入的3d汽車模型輸入到gsenet中提取汽車類別的全局形狀gs∈rn×3。
44、s52：將步驟s51得到的3d模型特征gs輸入到pointnet++網絡中提取特征，得到點云特征
45、進一步地：步驟s6的具體內容：
46、s61：將由步驟s46得到的實例局部特征frgb,fo和由步驟s52全局特征fr引入到先驗自適應模塊中，將fr，fo，frgb分別作為查詢、鍵和值，通過使用多頭注意力得到得到先驗的適應語義特征。
47、
48、s＝concat(y(1),y(2),...,y(m))????(17)
49、其中m表示多頭注意力的索引，表示先驗的適應語義特征。
50、s62：將得到的先驗的適應語義特征s和點云特征fr拼接生成類別級局部特征，最后基于得到的類別級局部特征，使用mlp層生成類別級全局特征。
51、
52、其中表示類別級局部特征，表示類別級全局特征。
53、s63：將s62得到的本文檔來自技高網...
【技術保護點】
1.一種自動駕駛車輛位姿估計方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于：步驟S1的具體內容：
3.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S2的具體內容：
4.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S3的具體內容：
5.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S4的具體內容：
6.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S5的具體內容：
7.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S6的具體內容：
8.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟S7的具體內容：
【技術特征摘要】
1.一種自動駕駛車輛位姿估計方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于：步驟s1的具體內容：
3.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟s2的具體內容：
4.根據權利要求1所述的一種自動駕駛車輛位姿估計方法，其特征在于，步驟s3的具體內容：
5.根...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。