本發(fā)明涉及信息存儲技術(shù)和模型推理，具體涉及一種信息更新方法、任務(wù)執(zhí)行方法、設(shè)備、介質(zhì)和程序產(chǎn)品。
背景技術(shù)：
1、大語言模型通常具有海量的參數(shù)和中間結(jié)果，導(dǎo)致系統(tǒng)存儲資源有限。鍵值緩存技術(shù)通過存儲中間的鍵和值向量來減少冗余計算，可以提高模型的推理效率、降低系統(tǒng)資源的占用和支持推理過程中的高效解碼。相關(guān)技術(shù)中，主要是通過硬件協(xié)同優(yōu)化、緩存壓縮和基于詞頻調(diào)整緩存優(yōu)先級來管理鍵值緩存。但是在實際使用過程中，相關(guān)技術(shù)無法適用于模型推理過程中存在的語義漂移和冷啟動延遲等情況，導(dǎo)致的緩存利用率低、緩存命中率不高的問題。
技術(shù)實現(xiàn)思路
1、鑒于上述問題，本發(fā)明提供了一種信息更新方法、任務(wù)執(zhí)行方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品。
2、根據(jù)本發(fā)明的第一個方面，提供了一種信息更新方法，包括：響應(yīng)于接收到輸入信息，確定輸入信息中輸入序列的輸入特征向量與動態(tài)信息集中動態(tài)序列的動態(tài)特征向量之間的相似度，其中，動態(tài)序列具有初始動態(tài)權(quán)重，動態(tài)信息集包括由初始動態(tài)權(quán)重和動態(tài)序列組成的多個信息對；基于利用相似度更新初始動態(tài)權(quán)重得到的更新動態(tài)權(quán)重和關(guān)聯(lián)序列，更新動態(tài)信息集，得到更新動態(tài)信息集，其中，關(guān)聯(lián)序列為動態(tài)序列中與輸入序列的語義相關(guān)聯(lián)的序列；基于更新動態(tài)信息集中的第一目標(biāo)序列和參考信息集中的第二目標(biāo)序列更新初始候選信息集，得到候選信息集，以利用候選信息集處理目標(biāo)任務(wù)，其中，初始候選信息集為接收輸入信息之前的候選信息集。
3、本發(fā)明的第二方面提供了一種任務(wù)執(zhí)行方法，包括：響應(yīng)于接收到任務(wù)執(zhí)行指令，利用候選信息集處理目標(biāo)任務(wù)；其中，目標(biāo)任務(wù)包括文本生成、語音識別和金融分析中的任意一種，候選集為根據(jù)上述信息更新方法得到。
4、本發(fā)明的第三方面提供了一種信息更新裝置，包括：相似度確定模塊，用于響應(yīng)于接收到輸入信息，確定輸入信息中輸入序列的輸入特征向量與動態(tài)信息集中動態(tài)序列的動態(tài)特征向量之間的相似度，其中，動態(tài)序列具有初始動態(tài)權(quán)重，動態(tài)信息集包括由初始動態(tài)權(quán)重和動態(tài)序列組成的多個信息對；動態(tài)信息集更新模塊，用于基于利用相似度更新初始動態(tài)權(quán)重得到的更新動態(tài)權(quán)重和關(guān)聯(lián)序列，更新動態(tài)信息集，得到更新動態(tài)信息集，其中，關(guān)聯(lián)序列由與動態(tài)序列的語義相關(guān)聯(lián)的序列得到；候選信息集更新模塊，用于基于更新動態(tài)信息集中的第一目標(biāo)序列和參考信息集中的第二目標(biāo)序列更新初始候選信息集，得到候選信息集，以利用候選信息集處理目標(biāo)任務(wù)，其中，初始候選信息集為接收輸入信息之前的候選信息集。
5、本發(fā)明的第四方面提供了一種任務(wù)執(zhí)行裝置，裝置包括：任務(wù)處理模塊，用于響應(yīng)于接收到任務(wù)執(zhí)行指令，利用候選信息集處理目標(biāo)任務(wù)；其中，目標(biāo)任務(wù)包括文本生成、語音識別和金融分析中的任意一種，候選信息集為根據(jù)上述任務(wù)執(zhí)行方法得到。
6、本發(fā)明的第五方面提供了一種電子設(shè)備，包括：一個或多個處理器；存儲器，用于存儲一個或多個計算機程序，其中，上述一個或多個處理器執(zhí)行上述一個或多個計算機程序以實現(xiàn)上述方法的步驟。
7、本發(fā)明的第六方面還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，上述計算機程序或指令被處理器執(zhí)行時實現(xiàn)上述方法的步驟。
8、本發(fā)明的第七方面還提供了一種計算機程序產(chǎn)品，包括計算機程序或指令，上述計算機程序或指令被處理器執(zhí)行時實現(xiàn)上述方法的步驟。
1.一種信息更新方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述相似度包括所述關(guān)聯(lián)序列與所述輸入序列之間的第一相似度、所述動態(tài)序列中剩余序列與所述輸入序列之間的第二相似度；
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，利用所述第一相似度和所述第二相似度更新所述初始動態(tài)權(quán)重，得到更新動態(tài)權(quán)重，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述輸入信息中輸入序列的輸入特征向量與動態(tài)信息集中動態(tài)序列的動態(tài)特征向量之間的相似度，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述初始信息集包括多個初始序列；所述方法還包括：
8.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：
9.根據(jù)權(quán)利要求1至8中任一項所述的方法，其特征在于，基于所述更新動態(tài)信息集中的第一目標(biāo)序列和參考信息集中的第二目標(biāo)序列更新初始候選信息集，得到候選信息集，包括：
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，利用所述第一差異序列和所述第二差異序列更新所述初始候選信息集，得到所述候選信息集，包括：
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，基于所述第二差異序列和當(dāng)前時刻的當(dāng)前候選信息集，得到用于所述第二差異序列的地址信息，包括：
12.一種任務(wù)執(zhí)行方法，其特征在于，所述方法包括：
13.一種電子設(shè)備，其特征在于，包括：
14.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，其特征在于，所述計算機程序或指令被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1?至?12中任一項所述方法的步驟。
15.一種計算機程序產(chǎn)品，包括計算機程序或指令，其特征在于，所述計算機程序或指令被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1?至?12中任一項所述方法的步驟。