【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及計算機(jī)，尤其涉及文本生成方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品。
技術(shù)介紹
1、在當(dāng)前大模型的訓(xùn)練結(jié)果的相關(guān)應(yīng)用中，解碼過程通常采用貪心搜索或者基于概率隨機(jī)采樣的方法生成文本。其中，貪心搜索策略(greedy?search)每次都選擇當(dāng)前下一個概率最大的詞，簡單易實(shí)現(xiàn)但往往不能生成最優(yōu)解。隨機(jī)采樣策略(sampling)可以增加生成的多樣性，但同樣存在嚴(yán)重缺陷，即隨機(jī)挑選的概率最低詞作為下一個詞可能導(dǎo)致生成較差的結(jié)果。
2、相關(guān)技術(shù)中的貪心搜索策略或基于概率隨機(jī)采樣的解碼方法各自存在不足，無法保證生成準(zhǔn)確的文本序列，導(dǎo)致大模型解碼生成文本的準(zhǔn)確性低。
技術(shù)實(shí)現(xiàn)思路
1、本申請的主要目的在于提供一種文本生成方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品，旨在解決大模型解碼生成文本的準(zhǔn)確性低的技術(shù)問題。
2、為實(shí)現(xiàn)上述目的，本申請?zhí)岢鲆环N文本生成方法，所述的方法包括：
3、當(dāng)接收到大模型生成的第一回復(fù)候選詞時，根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第一回復(fù)候選詞分配優(yōu)先級，確定優(yōu)先級最高的第一目標(biāo)候選詞；
4、獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞；
5、當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，根據(jù)對應(yīng)的所述父節(jié)點(diǎn)詞獲取文本生成路徑，解碼生成目標(biāo)文本。
6、在一實(shí)施例中，所述根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第
7、基于預(yù)設(shè)的貪心決策算法，對所述第一回復(fù)候選詞進(jìn)行快速文本生成，將文本生成時的聯(lián)合概率作為啟發(fā)式估計成本；
8、將所述第一回復(fù)候選詞的選取概率作為實(shí)際成本；
9、結(jié)合所述實(shí)際成本與所述啟發(fā)式估計成本，得到所述第一回復(fù)候選詞的總成本；
10、根據(jù)所述總成本，對所述第一回復(fù)候選詞進(jìn)行優(yōu)先級排序與分配，確定優(yōu)先級最高的第一目標(biāo)候選詞。
11、在一實(shí)施例中，所述為所述第一回復(fù)候選詞分配優(yōu)先級的步驟包括：
12、獲取歷史目標(biāo)候選詞集合與歷史回復(fù)候選詞合集；
13、遍歷所有的所述第一回復(fù)候選詞，判斷所述第一回復(fù)候選詞是否在所述歷史目標(biāo)候選詞集合與所述歷史回復(fù)候選詞合集中，其中，若所述第一回復(fù)候選詞包含在所述歷史目標(biāo)候選詞集合中，則跳過當(dāng)前循環(huán)的剩余部分，開始下一個所述第一回復(fù)候選詞的循環(huán)迭代。
14、在一實(shí)施例中，所述判斷所述第一回復(fù)候選詞是否在所述歷史目標(biāo)候選詞集合與所述歷史回復(fù)候選詞合集中的步驟之后還包括：
15、若所述第一回復(fù)候選詞不包含在所述歷史回復(fù)候選詞集合中，則計算并分配當(dāng)前循環(huán)的所述第一回復(fù)候選詞的優(yōu)先級，并將當(dāng)前循環(huán)的所述第一回復(fù)候選詞添加至所述歷史回復(fù)候選詞集合；
16、若所述第一回復(fù)候選詞包含在所述歷史回復(fù)候選詞集合中，則計算并更新當(dāng)前循環(huán)的所述第一回復(fù)候選詞的優(yōu)先級。
17、在一實(shí)施例中，所述獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞的步驟包括：
18、獲取上一輪次的大模型生成的第二回復(fù)候選詞；
19、對所述第二回復(fù)候選詞進(jìn)行大模型文本生成，篩選得到生成第一目標(biāo)候選詞的第二回復(fù)候選詞；
20、根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞。
21、在一實(shí)施例中，所述當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，根據(jù)對應(yīng)的所述父節(jié)點(diǎn)詞獲取文本生成路徑，解碼生成目標(biāo)文本的步驟包括：
22、當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，確定所述第一目標(biāo)候選詞的父節(jié)點(diǎn)，遞歸獲取所述父節(jié)點(diǎn)，直到父節(jié)點(diǎn)為空，得到文本生成路徑；
23、根據(jù)所述文本生成路徑，解碼生成目標(biāo)文本。
24、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種文本生成裝置，所述文本生成裝置包括：
25、分配模塊，用于當(dāng)接收到大模型生成的第一回復(fù)候選詞時，根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第一回復(fù)候選詞分配優(yōu)先級，確定優(yōu)先級最高的第一目標(biāo)候選詞；
26、選取模塊，用于獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞；
27、解碼模塊，用于當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，根據(jù)對應(yīng)的所述父節(jié)點(diǎn)詞獲取文本生成路徑，解碼生成目標(biāo)文本。
28、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種文本生成設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計算機(jī)程序，所述計算機(jī)程序配置為實(shí)現(xiàn)如上文所述的文本生成方法的步驟。
29、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上文所述的文本生成方法的步驟。
30、此外，為實(shí)現(xiàn)上述目的，本申請還提供一種計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上文所述的文本生成方法的步驟。
31、本申請?zhí)岢龅囊粋€或多個技術(shù)方案，至少具有以下技術(shù)效果：
32、與相關(guān)技術(shù)中，貪心搜索策略或基于概率隨機(jī)采樣的解碼方法各自存在不足，無法保證生成準(zhǔn)確的文本序列，導(dǎo)致大模型解碼生成文本的準(zhǔn)確性低相比，本申請通過當(dāng)接收到大模型生成的第一回復(fù)候選詞時，根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第一回復(fù)候選詞分配優(yōu)先級，確定優(yōu)先級最高的第一目標(biāo)候選詞；獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞；當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，根據(jù)對應(yīng)的所述父節(jié)點(diǎn)詞獲取文本生成路徑，解碼生成目標(biāo)文本。可理解的是，本申請采用了啟發(fā)式搜索算法確定最高優(yōu)先級的候選詞，通過動態(tài)規(guī)劃算法確定最高優(yōu)先級的候選詞的聯(lián)合概率最高的文本生成路徑，進(jìn)而解碼成目標(biāo)文本，可以實(shí)現(xiàn)大模型解碼生成文本的準(zhǔn)確性的提高。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種文本生成方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第一回復(fù)候選詞分配優(yōu)先級，確定優(yōu)先級最高的第一目標(biāo)候選詞的步驟包括：
3.如權(quán)利要求1所述的方法，其特征在于，所述為所述第一回復(fù)候選詞分配優(yōu)先級的步驟包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述判斷所述第一回復(fù)候選詞是否在所述歷史目標(biāo)候選詞集合與所述歷史回復(fù)候選詞合集中的步驟之后還包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞的步驟包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述當(dāng)所述第一目標(biāo)候選詞滿足預(yù)設(shè)的終止條件時，根據(jù)對應(yīng)的所述父節(jié)點(diǎn)詞獲取文本生成路徑，解碼生成目標(biāo)文本的步驟包括：
7.一種文本生成裝置，其特征在于，所述裝置包括：
8.一種文本生成設(shè)備，其特征在于，所述設(shè)備包括：存儲器、處理
9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的文本生成方法的步驟。
10.一種計算機(jī)程序產(chǎn)品，其特征在于，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的文本生成方法的步驟。
...【技術(shù)特征摘要】
1.一種文本生成方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的啟發(fā)式搜索算法，為所述第一回復(fù)候選詞分配優(yōu)先級，確定優(yōu)先級最高的第一目標(biāo)候選詞的步驟包括：
3.如權(quán)利要求1所述的方法，其特征在于，所述為所述第一回復(fù)候選詞分配優(yōu)先級的步驟包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述判斷所述第一回復(fù)候選詞是否在所述歷史目標(biāo)候選詞集合與所述歷史回復(fù)候選詞合集中的步驟之后還包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述獲取上一輪次的大模型生成的第二回復(fù)候選詞，根據(jù)預(yù)設(shè)的動態(tài)規(guī)劃算法，選取生成第一目標(biāo)候選詞的聯(lián)合概率最大的所述第二回復(fù)候選詞，并保存為所述第一目標(biāo)候選詞的父節(jié)點(diǎn)詞的步驟包括：
6.如權(quán)利要求1所述的方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃啟宇，
申請(專利權(quán))人：招商銀行股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。