【技術實現步驟摘要】
本申請涉及編解碼,尤其是涉及一種解碼、編碼方法、裝置及其設備。
技術介紹
1、為了達到節約空間的目的,視頻圖像都是經過編碼后才傳輸的,完整的視頻編碼可以包括預測、變換、量化、熵編碼、濾波等過程。針對預測過程,預測可以包括幀內預測和幀間預測,幀間預測是指利用視頻時間域的相關性,使用鄰近已編碼圖像的像素預測當前像素,以達到有效去除視頻時域冗余的目的。幀內預測是指利用視頻空間域的相關性,使用當前幀圖像的已編碼塊的像素預測當前像素,以達到去除視頻空域冗余的目的。
2、隨著深度學習的迅速發展,深度學習在許多高層次的計算機視覺問題上取得成功,如圖像分類、目標檢測等,深度學習也逐漸在編解碼領域開始應用,即可以采用神經網絡對圖像進行編碼和解碼。雖然基于神經網絡的編解碼方法展現出巨大性能潛力,但是,基于神經網絡的編解碼方法,仍然存在解碼性能較差和復雜度較高等問題。
技術實現思路
1、本申請提供一種解碼、編碼方法、裝置及其設備,能夠提高解碼性能,降低復雜度。
2、本申請提供一種解碼方法,應用于解碼端,所述方法包括:
3、對當前圖像塊對應的第一碼流進行解碼,得到所述當前圖像塊對應的系數超參特征;
4、基于所述系數超參特征確定概率分布參數,基于所述概率分布參數對所述當前圖像塊對應的第二碼流進行解碼,得到所述當前圖像塊對應的重建特征;
5、將所述重建特征輸入給合成變換網絡,得到所述當前圖像塊對應的重建圖像塊;
6、其中,所述合成變換網絡
7、本申請提供一種編碼方法,應用于編碼端,所述方法包括:
8、對當前圖像塊對應的第一碼流進行解碼,得到所述當前圖像塊對應的系數超參特征;
9、基于所述系數超參特征確定概率分布參數,基于所述概率分布參數對所述當前圖像塊對應的第二碼流進行解碼,得到所述當前圖像塊對應的重建特征;
10、將所述重建特征輸入給合成變換網絡,得到所述當前圖像塊對應的重建圖像塊;
11、其中,所述合成變換網絡至少包括注意力模塊,所述注意力模塊為級聯混合注意力模塊或者并聯混合注意力模塊;其中,所述級聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為串行的兩個子模塊;或者,所述并聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為并行的兩個子模塊。
12、本申請提供一種解碼裝置,應用于解碼端,所述裝置包括:
13、解碼模塊,用于對當前圖像塊對應的第一碼流進行解碼,得到所述當前圖像塊對應的系數超參特征;基于所述系數超參特征確定概率分布參數,基于所述概率分布參數對所述當前圖像塊對應的第二碼流進行解碼,得到所述當前圖像塊對應的重建特征;
14、處理模塊,用于將所述重建特征輸入給合成變換網絡,得到所述當前圖像塊對應的重建圖像塊;其中,所述合成變換網絡至少包括注意力模塊,所述注意力模塊為級聯混合注意力模塊或者并聯混合注意力模塊;其中,所述級聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為串行的兩個子模塊;或者,所述并聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為并行的兩個子模塊。
15、本申請提供一種編碼裝置,應用于編碼端,所述裝置包括:
16、解碼模塊,用于對當前圖像塊對應的第一碼流進行解碼,得到所述當前圖像塊對應的系數超參特征;基于所述系數超參特征確定概率分布參數,基于所述概率分布參數對所述當前圖像塊對應的第二碼流進行解碼,得到所述當前圖像塊對應的重建特征;
17、處理模塊,用于將所述重建特征輸入給合成變換網絡,得到所述當前圖像塊對應的重建圖像塊;其中,所述合成變換網絡至少包括注意力模塊,所述注意力模塊為級聯混合注意力模塊或者并聯混合注意力模塊;其中,所述級聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為串行的兩個子模塊;或者,所述并聯混合注意力模塊包括第一注意力子模塊和第二注意力子模塊,且所述第一注意力子模塊和所述第二注意力子模塊為并行的兩個子模塊。
18、本申請提供一種解碼端設備,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;
19、所述處理器用于執行機器可執行指令,以實現上述的解碼方法。
20、本申請提供一種編碼端設備,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;
21、所述處理器用于執行機器可執行指令,以實現上述的編碼方法。
22、本申請提供一種電子設備,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;
23、所述處理器用于執行機器可執行指令,以實現上述的解碼方法或者編碼方法。
24、本申請提供一種機器可讀存儲介質,所述機器可讀存儲介質上存儲有若干計算機指令,所述計算機指令被處理器執行時,用于實現上述的解碼方法或者編碼方法。
25、本申請提供一種計算機程序產品,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時,實現上述的解碼方法或者編碼方法。
26、由以上技術方案可見,本申請實施例中,針對基于神經網絡的編解碼技術,提出一種注意力機制的合成變換網絡,該合成變換網絡包括注意力模塊,且注意力模塊為級聯混合注意力模塊或者并聯混合注意力模塊,通過級聯混合注意力模塊或者并聯混合注意力模塊實現合成變換網絡時,在保證合成圖像質量的同時,有效降低網絡復雜度和計算復雜度,提高解碼性能,在降低復雜度的同時,有效保證重建圖像塊的質量,提升編碼性能和解碼性能。
本文檔來自技高網...【技術保護點】
1.一種圖像解碼方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征;
3.根據權利要求2所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征,包括:
4.根據權利要求1所述的方法,其特征在于,通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征;
5.根據權利要求4所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征,包括:
6.根據權利要求4所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征,包括:
7.根據權利要求4所述的方法,其特征在于,
8.一種圖像編碼方法,其特征在于,所
9.一種圖像解碼裝置,其特征在于,所述裝置包括:
10.一種圖像編碼裝置,其特征在于,所述裝置包括:
11.一種圖像解碼設備,其特征在于,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;
12.一種圖像編碼設備,其特征在于,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;
13.一種機器可讀存儲介質,其特征在于,所述機器可讀存儲介質上存儲有若干計算機指令,所述計算機指令被處理器執行時,實現權利要求1-8任一項所述的方法。
14.一種計算機程序產品,其特征在于,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時,實現權利要求1-8任一項所述的方法。
...【技術特征摘要】
1.一種圖像解碼方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征;
3.根據權利要求2所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征,包括:
4.根據權利要求1所述的方法,其特征在于,通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征;
5.根據權利要求4所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊的輸出特征,包括:
6.根據權利要求4所述的方法,其特征在于,所述通過所述第二注意力子模塊對所述第二注意力子模塊的輸入特征進行第二處理,得到所述第二注意力子模塊...
【專利技術屬性】
技術研發人員:陳方棟,葉宗苗,王莉,武曉陽,陸明,孔玉卓,馬展,
申請(專利權)人:杭州海康威視數字技術股份有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。