【技術實現步驟摘要】
本申請涉及計算機，具體涉及一種圖像生成方法、模型訓練方法、裝置、電子設備及計算機可讀存儲介質。
技術介紹
1、在電子商務平臺中，視覺內容在吸引和保持受眾注意力方面起著關鍵作用，一個高質量、設計美觀的產品展示圖可以迅速抓住消費者的注意力，增加客戶購買率。產品展示圖包含產品圖樣(例如產品實物圖)和背景圖像，產品圖像通常為商家提供的產品實物圖，背景圖像通常為平臺或系統生成，因此，為產品生成相匹配的背景對產品展示圖的質量影響很大。
2、相關技術中，通常采用文本引導圖像生成模型為產品生成匹配有背景的產品展示圖像，但是，文本引導的圖像生成模型依賴于精心設計的準確的提示語，因此，每一件產品均需人工設計準確精細的提示語，才能使得文本引導的圖像生成模型所生成的產品展示圖的背景與產品更相匹、且圖像質量更高，這在大量多樣化的產品中是一項非常大的挑戰，十分耗費人力，且人工設計的提示語可能準確性較低，從而導致所生成的產品背景的匹配度和質量較低。
技術實現思路
1、本申請提供一種圖像生成方法、圖像生成模型訓練方法、裝置、電子設備及計算機可讀存儲介質，能夠更高效地生成背景與產品相匹配的高質量的產品展示圖，同時節省了背景生成所需的人力成本。具體方案如下：
2、第一方面，本申請提供了一種圖像生成方法，所述方法包括：
3、獲取待生成展示圖的目標產品對應的產品描述信息和產品圖樣；
4、基于所述產品描述信息，通過預先訓練的文本生成模型，生成與所述產品描述信息相對應的背景圖描
5、基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖。
6、可選地，所述文本生成模型用于根據指示信息生成相對應的描述信息；
7、所述基于所述產品描述信息，通過預先訓練的文本生成模型，生成與所述產品描述信息相對應的背景圖描述信息，包括：
8、通過預先訓練的文本生成模型，以所述產品描述信息以及編輯背景指示信息作為所述文本生成模型的指示信息，生成與所述產品描述信息相對應的背景圖描述信息。
9、可選地，在所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖之前，所述方法還包括：
10、通過預先訓練的文本生成模型，以所述產品描述信息和編輯展示圖指示信息作為所述文本生成模型的指示信息，生成與所述產品描述信息相對應的展示圖描述信息；
11、所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
12、基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，以所述背景圖描述信息和所述展示圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖。
13、可選地，所述產品描述信息包括以下至少一種：產品名稱、產品介紹、產品標題。
14、可選地，所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
15、確定所述產品圖樣對應的產品區域標注信息，所述產品區域標注信息標記有所述目標產品在所述產品圖樣中的所在區域；
16、基于所述產品圖樣以及所述產品區域標注信息，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖。
17、可選地，所述文本引導圖像生成模型為穩定擴散模型；
18、所述基于所述產品圖樣以及所述產品區域標注信息，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
19、獲取待添加噪聲；
20、基于所述產品圖樣、所述產品區域標注信息以及所述待添加噪聲，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖。
21、可選地，所述基于所述產品圖樣、所述產品區域標注信息以及所述待添加噪聲，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
22、將所述產品圖樣輸入預先訓練的降維編碼器，得到所述產品圖樣對應的降低維度的圖樣編碼數據；
23、將所述圖樣編碼數據、所述背景圖描述信息、所述產品區域標注信息以及所述待添加噪聲輸入預先訓練的文本引導圖像生成模型，生成為所述產品圖樣添加背景的展示圖。
24、第二方面，本申請還提供一種模型訓練方法，所述方法包括：
25、獲取訓練樣本，所述訓練樣本包括樣本產品的樣本產品描述信息以及預先設計的帶背景的樣本產品展示圖；
26、基于所述樣本產品描述信息，通過待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出背景圖描述信息；
27、根據所述樣本產品展示圖，確定所述樣本產品展示圖對應的樣本背景特征；
28、根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別，調整所述待訓練文本生成模型的模型參數，以得到訓練后的文本生成模型，所述文本生成模型用于根據產品描述信息生成對應的背景圖描述信息。
29、可選地，所述基于所述樣本產品描述信息，通過待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出背景圖描述信息，包括：
30、基于所述樣本產品描述信息和編輯背景指示信息，通過待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出背景圖描述信息。
31、可選地，在所述根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別，調整所述待訓練文本生成模型的模型參數之前，所述方法還包括：
32、基于所述樣本產品描述信息和編輯展示圖指示信息，通過所述待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出展示圖描述信息；
33、根據所述樣本產品展示圖，確定所述樣本產品展示圖對應的樣本展示圖特征；
34、所述根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別，調整所述待訓練文本生成模型的模型參數，包括；
35、根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別、所述輸出展示圖描述信息與所述樣本展示圖特征之間的差別，對所述待訓練文本生成模型的模型參數進行調整，其中，所述文本生成模型具體用于根據產品描述信息生成對應的背景圖描述信息和產品展示圖描述信息。
36、可選地，所述根據所述樣本產品展示圖，確本文檔來自技高網...
【技術保護點】
1.一種圖像生成方法，其特征在于，所述方法包括：
2.根據權利要求1所述的圖像生成方法，其特征在于，所述文本生成模型用于根據指示信息生成相對應的描述信息；
3.根據權利要求2所述的圖像生成方法，其特征在于，在所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖之前，所述方法還包括：
4.根據權利要求1所述的圖像生成方法，其特征在于，所述產品描述信息包括以下至少一種：產品名稱、產品介紹、產品標題。
5.根據權利要求1所述的圖像生成方法，其特征在于，所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
6.根據權利要求5所述的圖像生成方法，其特征在于，所述文本引導圖像生成模型為穩定擴散模型；
7.根據權利要求6所述的圖像生成方法，其特征在于，所述基于所述產品圖樣、所述產品區域標注信息以及所述待添加噪聲，通
8.一種模型訓練方法，其特征在于，所述方法包括：
9.根據權利要求8所述的模型訓練方法，其特征在于，所述基于所述樣本產品描述信息，通過待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出背景圖描述信息，包括：
10.根據權利要求9所述的模型訓練方法，其特征在于，在所述根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別，調整所述待訓練文本生成模型的模型參數之前，所述方法還包括：
11.根據權利要求10所述的模型訓練方法，其特征在于，所述根據所述樣本產品展示圖，確定所述樣本產品展示圖對應的樣本背景特征，包括：
12.根據權利要求10所述的模型訓練方法，其特征在于，所述訓練樣本還包括所述樣本產品對應的樣本產品圖樣，所述樣本產品圖樣是從所述樣本產品展示圖中扣取的產品區域圖像；
13.根據權利要求12所述的模型訓練方法，其特征在于，所述待訓練文本引導圖像生成模型為穩定擴散模型；
14.根據權利要求13所述的模型訓練方法，其特征在于，所述基于所述樣本產品圖樣和預設樣本噪聲，通過待訓練文本引導圖像生成模型，以所述輸出背景圖描述信息和所述輸出展示圖描述信息作為所述待訓練文本引導圖像生成模型的引導文本，得到輸出展示圖和預測噪聲，包括：
15.據權利要求8至14任一項所述的模型訓練方法，其特征在于，所述獲取訓練樣本，包括：
16.據權利要求15所述的模型訓練方法，其特征在于，所述方法還包括：
17.據權利要求16所述的模型訓練方法，其特征在于，所述預期訓練條件包括以下至少一種：
18.一種圖像生成裝置，其特征在于，所述裝置包括：
19.一種模型訓練裝置，其特征在于，所述裝置包括：
20.一種電子設備，其特征在于，包括：處理器、存儲器以及存儲在所述存儲器上并可在處理器上運行的計算機程序指令；所述處理器執行所述計算機程序指令時實現如上述權利要求1-17任一項所述的方法。
21.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執行指令，所述計算機執行指令被處理器執行時用于實現如上述權利要求1-17任一項所述的方法。
...【技術特征摘要】
1.一種圖像生成方法，其特征在于，所述方法包括：
2.根據權利要求1所述的圖像生成方法，其特征在于，所述文本生成模型用于根據指示信息生成相對應的描述信息；
3.根據權利要求2所述的圖像生成方法，其特征在于，在所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖之前，所述方法還包括：
4.根據權利要求1所述的圖像生成方法，其特征在于，所述產品描述信息包括以下至少一種：產品名稱、產品介紹、產品標題。
5.根據權利要求1所述的圖像生成方法，其特征在于，所述基于所述產品圖樣，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
6.根據權利要求5所述的圖像生成方法，其特征在于，所述文本引導圖像生成模型為穩定擴散模型；
7.根據權利要求6所述的圖像生成方法，其特征在于，所述基于所述產品圖樣、所述產品區域標注信息以及所述待添加噪聲，通過預先訓練的文本引導圖像生成模型，并以所述背景圖描述信息作為所述文本引導圖像生成模型的引導文本，生成為所述產品圖樣添加背景的展示圖，包括：
8.一種模型訓練方法，其特征在于，所述方法包括：
9.根據權利要求8所述的模型訓練方法，其特征在于，所述基于所述樣本產品描述信息，通過待訓練文本生成模型，得到所述樣本產品描述信息對應的輸出背景圖描述信息，包括：
10.根據權利要求9所述的模型訓練方法，其特征在于，在所述根據所述輸出背景圖描述信息與所述樣本背景特征之間的差別，調整所述待訓練文本生成模型的模...
【專利技術屬性】
技術研發人員：曹庭鋒，孔俊生，趙雪，姚文清，丁俊瑋，張建東，
申請(專利權)人：杭州阿里巴巴海外互聯網產業有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。