【技術實現步驟摘要】
本專利技術涉及計算機視覺領域，具體涉及一種基于多尺度高斯球的動態場景重建方法及裝置。
技術介紹
1、動態場景的三維重建與實時渲染是計算機視覺與圖形學領域的核心挑戰，尤其在虛擬現實、自動駕駛、影視特效等應用場景中具有迫切需求。傳統動態場景重建技術主要依賴基于體素、點云或網格的表征方式，結合光流法、非剛性配準等運動估計方法實現動態建模。然而，此類方法普遍存在計算復雜度高、難以處理快速非剛性形變以及高頻細節丟失導致的混疊效應等問題。
2、近期提出的3d高斯潑濺（3d?gaussian?splatting）技術通過顯式高斯基元參數化場景，可實現實時渲染速率。然而，其原生框架在動態場景中存在一大難題，在直接擴展為時序模型時，高斯基元數量的指數增長導致顯存占用與計算開銷急劇上升；另一方面，現有抗混疊方案多采用預濾波或后處理超分辨率技術，無法在重建階段實現頻域自適應的細節保持，且會引入額外計算負載。
3、因此，如何減少3d高斯潑濺在動態場景重建中的計算開銷和如何抑制混疊效應，成為這一領域亟待解決的問題。
技術實現思路
1、本申請的目的在于針對上述提到的技術問題提出一種基于多尺度高斯球的動態場景重建方法及裝置。
2、第一方面，本專利技術提供了一種基于多尺度高斯球的動態場景重建方法，包括以下步驟：
3、獲取待重建的視頻幀序列，采用運動恢復結構算法對待重建的視頻幀序列進行處理，生成稀疏點云，對稀疏點云進行初始化，生成3d高斯球集合；
4、采用
5、對變形的3d高斯球集合進行多尺度高斯處理，生成多尺度高斯球集合；對多尺度高斯球集合進行基于像素覆蓋率的高斯篩選，得到優化后的多尺度高斯球集合；
6、將優化后的多尺度高斯球集合投影到二維平面，生成對應的2d高斯在二維平面上的分布，并對由2d高斯在二維平面上的分布確定的2d高斯在二維平面上的單個像素點所包含的優化后的多尺度高斯球集合進行alpha混合處理，重建得到抗鋸齒動態渲染場景圖像。
7、作為優選，采用運動恢復結構算法對待重建的視頻幀序列進行處理，生成稀疏點云，對稀疏點云進行初始化，生成3d高斯球集合，具體包括：
8、將待重建的視頻幀序列和已知的相機參數輸入到運動恢復結構算法中，輸出一組帶有位置信息和顏色信息的稀疏點云pcloud及其對應的相機位姿；
9、對稀疏點云pcloud中的每一個點初始化為一個3d高斯球g，每個3d高斯球定義為：
10、；
11、其中，g(x)表示3d高斯球對應的函數，x表示3d高斯球中的一個三維空間點，t表示轉置，為3d高斯球的中心位置，為3d高斯球的協方差矩陣，3d高斯球的協方差矩陣可通過對縮放向量s和旋轉四元數q進行參數化得到，表示為：；為通過縮放向量s轉換而成的縮放矩陣，r為通過旋轉四元數q轉換而成的旋轉矩陣；
12、最終構建得到3d高斯球集合，表示第i個3d高斯球。
13、作為優選，采用雙域變形模型和自適應時間戳對3d高斯球集合進行處理，得到變形的3d高斯球集合，具體包括：
14、引入自適應時間戳以縮放3d高斯球集合中的每個3d高斯球的歸一化幀索引時間，得到縮放后的時間，如下式所示：
15、；
16、其中，表示縮放后的時間，表示歸一化幀索引時間，和分別表示3d高斯球的時間縮放因子和基本因子；
17、基于輸入縮放后的時間后的時變殘差和雙域變形模型對每個3d高斯球在參考時間時的基本屬性進行動態建模，得到隨縮放后的時間變形后的動態屬性，如下式所示：
18、；
19、其中，s(ts)為3d高斯球的隨縮放后的時間變形后的動態屬性，s0為在參考時間t0時的3d高斯球的基本屬性，屬性包括中心位置、旋轉信息和顏色信息，輸入縮放后的時間后的時變殘差d(ts)由時間域多項式與頻率域傅里葉級數聯合擬合，如下式所示：
20、；
21、其中，為n階多項式，n表示多項式中的第n階，為第n階的多項式系數，為l階傅里葉級數，l表示傅里葉級數中的第l階，、為第l階的正弦傅里葉系數和余弦傅里葉系數；
22、通過3d高斯球的隨縮放后的時間變形后的動態屬性得到變形的3d高斯球，并構建得到變形的3d高斯球集合，表示第i個變形的3d高斯球。
23、作為優選，對變形的3d高斯球集合進行多尺度高斯處理，生成多尺度高斯球集合，具體包括：
24、將變形的3d高斯球集合中的每個變形的3d高斯球投影成變形的3d高斯球對應的2d高斯，并計算變形的3d高斯球對應的2d高斯在屏幕空間中的像素覆蓋率，如下式所示：
25、；
26、；
27、；
28、其中，μk表示變形的3d高斯球對應的2d高斯的中心位置，vk表示變形的3d高斯球對應的2d高斯的協方差矩陣，u表示變形的3d高斯球對應的2d高斯在平面內的水平軸長度，v表示變形的3d高斯球對應的2d高斯在平面內的垂直軸長度，表示變形的3d高斯球的不透明度，和分別表示變形的3d高斯球投影到二維平面中的橫坐標和縱坐標分量，表示預設的高斯的不透明度閾值，表示取兩者中最小值，sk表示變形的3d高斯球對應的2d高斯在屏幕空間中的像素覆蓋率；
29、在變形的3d高斯球集合中篩選出像素覆蓋率小于像素覆蓋率閾值的變形的3d高斯球，得到篩選后的高斯球并構建得到篩選后的高斯球集合；
30、將篩選后的高斯球集合中的所有篩選后的高斯球按照空間位置劃分到體素網格中，體素網格的每個體素內的多個篩選后的高斯球通過平均池化生成一個聚合后的高斯球，如下式所示：
31、；
32、；
33、；
34、其中，gm為第m個體素內的篩選后的高斯球集合，表示gm中的篩選后的高斯球的數量，、和分別是gm內的篩選后的高斯球的中心位置、縮放信息和顏色信息，、和分別是聚合后的高斯球的中心位置、縮放信息和顏色信息，表示像素覆蓋率閾值，是每個體素中的篩選后的高斯球集合的平均像素覆蓋率；
35、將聚合后的高斯球或像素覆蓋率大于或等于像素覆蓋率閾值的變形的3d高斯球作為多尺度高斯球，并構建得到多尺度高斯球集合。作為優選，對多尺度高斯球集合進行基于像素覆蓋率的高斯篩選，得到優化后的多尺度高斯球集合，具體包括：
36、根據當前的渲染分辨率從多尺度高斯球集合中篩選出滿足條件的多尺度高斯球，篩選條件為：
37、；
38、其中，表示多尺度高斯球集合中單個多尺度高斯球的像素覆蓋率，表示像素覆蓋率閾值，和分別在不同的渲染分辨率下的多尺度高斯球集合中多尺度高斯球的最大像素覆蓋率和最小像素覆蓋率，為相對最大像素覆蓋率閾值，為相對最小像素覆蓋率閾值，?和分別表示“與”和“或”；
39、使用篩選條件篩選出適合在當本文檔來自技高網...
【技術保護點】
1.一種基于多尺度高斯球的動態場景重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，采用運動恢復結構算法對所述待重建的視頻幀序列進行處理，生成稀疏點云，對所述稀疏點云進行初始化，生成3D高斯球集合，具體包括：
3.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，采用雙域變形模型和自適應時間戳對所述3D高斯球集合進行處理，得到變形的3D高斯球集合，具體包括：
4.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，對所述變形的3D高斯球集合進行多尺度高斯處理，生成多尺度高斯球集合，具體包括：
5.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，對所述多尺度高斯球集合進行基于像素覆蓋率的高斯篩選，得到優化后的多尺度高斯球集合，具體包括：
6.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，將所述優化后的多尺度高斯球集合投影到二維平面，生成對應的2D高斯在二維平面上的分布，并對由2D高斯在二維
7.一種基于多尺度高斯球的動態場景重建裝置，其特征在于，包括：
8.一種電子設備，包括：
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一所述的方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-6中任一所述的方法。
...【技術特征摘要】
1.一種基于多尺度高斯球的動態場景重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，采用運動恢復結構算法對所述待重建的視頻幀序列進行處理，生成稀疏點云，對所述稀疏點云進行初始化，生成3d高斯球集合，具體包括：
3.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，采用雙域變形模型和自適應時間戳對所述3d高斯球集合進行處理，得到變形的3d高斯球集合，具體包括：
4.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，對所述變形的3d高斯球集合進行多尺度高斯處理，生成多尺度高斯球集合，具體包括：
5.根據權利要求1所述的基于多尺度高斯球的動態場景重建方法，其特征在于，對所述多尺度高斯球集合進行基于像素覆蓋率的高斯篩選...
【專利技術屬性】
技術研發人員：曾煥強，曾中偉，朱建清，陳婧，施一帆，龔鑫榮，蔡磊，林琦，鄭惠潔，項文杰，
申請(專利權)人：華僑大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。