本發(fā)明涉及一種基于注意力機(jī)制與時(shí)間感知的互聯(lián)網(wǎng)服務(wù)篩選方法，屬于互聯(lián)網(wǎng)服務(wù)質(zhì)量。

背景技術(shù)：

1、服務(wù)質(zhì)量（quality?of?service，qos）是衡量服務(wù)非功能性（例如吞吐量和響應(yīng)時(shí)間）的常用指標(biāo)，由于網(wǎng)絡(luò)狀態(tài)的變化，即使同一用戶調(diào)用同一服務(wù)，其qos值也可能隨時(shí)間波動(dòng)產(chǎn)生變化，對這一現(xiàn)象的分析有助于捕捉qos值的時(shí)間變化特征，從而提升用戶和服務(wù)的時(shí)間特征建模能力，進(jìn)一步提高qos預(yù)測的準(zhǔn)確性。

2、傳統(tǒng)的協(xié)同過濾方法在捕捉qos值的時(shí)間變化方面存在局限性，而深度學(xué)習(xí)能夠自動(dòng)提取高維特征并挖掘隱藏的模式，從而更有效地解決這一問題；長短時(shí)記憶網(wǎng)絡(luò)（lstm）和門控循環(huán)單元（gru）是兩種常見的序列數(shù)據(jù)處理方法，gru由于其結(jié)構(gòu)相對簡潔，計(jì)算效率更高，因此比?lstm?更適用于構(gòu)建大規(guī)模網(wǎng)絡(luò)，但gru仍存在一定的不足。例如，它無法進(jìn)行特征補(bǔ)償，并且在處理長時(shí)間序列數(shù)據(jù)時(shí)，其特征提取能力不及l(fā)stm。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于注意力機(jī)制與時(shí)間感知的互聯(lián)網(wǎng)服務(wù)篩選方法，通過提取用戶和服務(wù)在不同時(shí)間片中變化特征的用戶-服務(wù)增強(qiáng)特征，提高了對互聯(lián)網(wǎng)服務(wù)質(zhì)量值預(yù)測的準(zhǔn)確性，有利于對用戶當(dāng)前互聯(lián)網(wǎng)服務(wù)的精準(zhǔn)選取，改善了用戶在調(diào)用互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)吞吐量的響應(yīng)時(shí)間，解決了當(dāng)前模型在捕捉qos值時(shí)特征提取能力不足的問題。

2、為解決上述技術(shù)問題，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、基于注意力機(jī)制與時(shí)間感知的互聯(lián)網(wǎng)服務(wù)篩選方法，包括：

4、獲取目標(biāo)用戶在調(diào)用多個(gè)備選互聯(lián)網(wǎng)服務(wù)時(shí)對應(yīng)的服務(wù)質(zhì)量時(shí)間序列；

5、將服務(wù)質(zhì)量時(shí)間序列輸入預(yù)先訓(xùn)練好的互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型中，得到多個(gè)與備選互聯(lián)網(wǎng)服務(wù)對應(yīng)的服務(wù)質(zhì)量預(yù)測值；

6、根據(jù)服務(wù)質(zhì)量預(yù)測值，選取目標(biāo)用戶在調(diào)用服務(wù)時(shí)數(shù)據(jù)吞吐量和響應(yīng)時(shí)間最佳的互聯(lián)網(wǎng)服務(wù)；

7、其中，預(yù)先訓(xùn)練好的互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型的訓(xùn)練包括：

8、從用戶-服務(wù)歷史樣本數(shù)據(jù)集獲取用戶服務(wù)質(zhì)量樣本時(shí)間序列；

9、根據(jù)用戶服務(wù)質(zhì)量樣本時(shí)間序列，分別構(gòu)建以用戶、服務(wù)為中心的特征向量集；

10、基于特征向量集，對以用戶為中心的特征向量、以服務(wù)為中心的特征向量進(jìn)行拼接處理，得到用戶-服務(wù)增強(qiáng)特征；

11、獲取并繼承用戶-服務(wù)增強(qiáng)特征的隱狀態(tài)，得到用戶對服務(wù)的時(shí)間感知特征；

12、基于時(shí)間感知特征和目標(biāo)損失函數(shù)訓(xùn)練互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型，得到使損失值最小化的模型參數(shù)。

13、進(jìn)一步地，所述互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型包括：

14、特征提取模塊，用于根據(jù)輸入的用戶服務(wù)質(zhì)量樣本時(shí)間序列，構(gòu)建特征向量集；

15、特征增強(qiáng)神經(jīng)網(wǎng)絡(luò)，用于根據(jù)輸入的特征向量集，得到增強(qiáng)特征；

16、門控遞歸深度神經(jīng)網(wǎng)絡(luò)，用于根據(jù)輸入的增強(qiáng)特征，得到用戶對服務(wù)的時(shí)間感知特征；

17、預(yù)測神經(jīng)網(wǎng)絡(luò)，用于根據(jù)輸入的時(shí)間感知特征，輸出對應(yīng)互聯(lián)網(wǎng)服務(wù)的服務(wù)質(zhì)量預(yù)測值。

18、更進(jìn)一步地，所述根據(jù)用戶服務(wù)質(zhì)量樣本時(shí)間序列，分別構(gòu)建以用戶、服務(wù)為中心的特征向量集，包括：

19、對用戶服務(wù)質(zhì)量樣本時(shí)間序列進(jìn)行特征提取，獲取用戶在時(shí)間片上的用戶特征向量和服務(wù)在時(shí)間片上的服務(wù)特征向量；

20、基于用戶特征向量和服務(wù)特征向量，分別確定用戶間的相似度及服務(wù)間的相似度；

21、根據(jù)用戶間的相似度、服務(wù)間的相似度分別構(gòu)建以用戶、服務(wù)為中心的特征向量集。

22、更進(jìn)一步地，所述基于用戶特征向量和服務(wù)特征向量，分別確定用戶間的相似度及服務(wù)間的相似度，包括：

23、通過下式計(jì)算用戶間的相似度：

24、；

25、其中：

26、表示第個(gè)時(shí)間片上用戶的特征向量，表示第個(gè)時(shí)間片上用戶的特征向量；

27、表示余弦相似度計(jì)算函數(shù)；

28、表示向量的模；

29、通過下式計(jì)算服務(wù)間的相似度：

30、；

31、其中：

32、表示在第個(gè)時(shí)間片上服務(wù)的特征向量，表示在第個(gè)時(shí)間片上服務(wù)的特征向量。

33、更進(jìn)一步地，所述根據(jù)用戶間的相似度、服務(wù)間的相似度分別構(gòu)建以用戶、服務(wù)為中心的特征向量集，包括：

34、以與目標(biāo)用戶相似度由高至低的方式對所有用戶進(jìn)行排序，選擇排名靠前的多名用戶組成以目標(biāo)用戶為中心的特征向量集；

35、以與目標(biāo)服務(wù)相似度由高至低的方式對所有服務(wù)進(jìn)行排序，選擇排名靠前的多個(gè)服務(wù)組成以目標(biāo)服務(wù)為中心的特征向量集。

36、進(jìn)一步地，所述基于特征向量集，對以用戶為中心的特征向量、以服務(wù)為中心的特征向量進(jìn)行拼接處理，得到用戶-服務(wù)增強(qiáng)特征，包括：

37、獲取以用戶為中心的特征向量集中目標(biāo)用戶的查詢量，其他用戶的鍵向量以及其他用戶的值向量；

38、基于目標(biāo)用戶的查詢量，其他用戶的鍵向量以及其他用戶的值向量，采用多頭注意力機(jī)制確定以目標(biāo)用戶為中心的第一增強(qiáng)輸出集合；

39、對以服務(wù)為中心的特征向量集采用上述相同的操作，確定以目標(biāo)服務(wù)為中心的第二增強(qiáng)輸出集合；

40、對第一增強(qiáng)輸出集合和第二增強(qiáng)輸出集合進(jìn)行拼接處理，得到用戶-服務(wù)增強(qiáng)特征。

41、更進(jìn)一步地，所述基于目標(biāo)用戶的查詢量，其他用戶的鍵向量以及其他用戶的值向量，采用多頭注意力機(jī)制確定以目標(biāo)用戶為中心的第一增強(qiáng)輸出集合，包括：

42、通過下式計(jì)算多頭注意力機(jī)制的輸出：

43、；

44、其中：

45、表示第個(gè)時(shí)間片目標(biāo)用戶在第1個(gè)卷積層的輸出；

46、表示歸并操作；

47、表示第個(gè)注意力頭，，表示注意力頭總數(shù)；

48、表示目標(biāo)用戶在第個(gè)注意力頭中的增強(qiáng)特征；

49、表示輸出層權(quán)重；

50、通過下式對多頭注意力機(jī)制的輸出進(jìn)行卷積操作：

51、；

52、；

53、其中：

54、表示第個(gè)時(shí)間片目標(biāo)用戶在第個(gè)卷積層輸出，表示第個(gè)時(shí)間片目標(biāo)用戶在第個(gè)卷積層輸出，表示第個(gè)時(shí)間片目標(biāo)用戶在第個(gè)卷積層輸出；

55、表示卷積操作；

56、表示第個(gè)卷積層的權(quán)重，表示第個(gè)卷積層的偏置項(xiàng)，表示第個(gè)卷積層的步幅，表示第個(gè)卷積層，表示卷積層層數(shù)；

57、表示經(jīng)增強(qiáng)后的特征，表示批歸一化操作；

58、采用下式計(jì)算拼接特征：

59、；

60、其中：

61、表示對進(jìn)行拼接后輸出的拼接特征，表示拼接操作；

62、通過下式對最后一層卷積層輸出進(jìn)行增強(qiáng)操作，得到以目標(biāo)用戶為中心的第一增強(qiáng)輸出：

63、；

64、其中：

65、表示池化操作，表示卷積層最后一層l層的輸出；

66、表示第個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出；

67、則個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出集合表示為：

68、；

69、其中：

70、表示個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出集合；

71、表示第個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出，表示時(shí)間片的編號且，；

72、表示第個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出；

73、表示第個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出；

74、表示第個(gè)時(shí)間片上以目標(biāo)用戶為中心的第一增強(qiáng)輸出。

75、進(jìn)一步地，所述獲取并繼承用戶-服務(wù)增強(qiáng)特征的隱狀態(tài)，得到用戶對服務(wù)的時(shí)間感知特征，包括：

76、采用門控遞歸深度神經(jīng)網(wǎng)絡(luò)對用戶-服務(wù)增強(qiáng)特征進(jìn)行時(shí)間感知，確定用戶對服務(wù)的時(shí)間感知特征。

77、進(jìn)一步地，所述基于時(shí)間感知特征和目標(biāo)損失函數(shù)訓(xùn)練互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型，得到使損失值最小化的模型參數(shù)，包括：

78、通過下式計(jì)算目標(biāo)用戶調(diào)用某服務(wù)的服務(wù)質(zhì)量預(yù)測值：

79、；

80、其中：

81、表示第個(gè)全連接層的輸出；

82、表示relu激活函數(shù)；表示第個(gè)全連接層的偏置項(xiàng)，表示第個(gè)全連接層的權(quán)重；表示第個(gè)全連接層的輸出；

83、表示預(yù)測神經(jīng)網(wǎng)絡(luò)的全連接層層數(shù)，預(yù)測神經(jīng)網(wǎng)絡(luò)的最后一層輸出服務(wù)質(zhì)量預(yù)測值；

84、當(dāng)時(shí)，，表示目標(biāo)用戶對服務(wù)的時(shí)間感知特征；

85、基于服務(wù)質(zhì)量預(yù)測值和目標(biāo)損失函數(shù)更新模型參數(shù)。

86、更進(jìn)一步地，所述基于服務(wù)質(zhì)量預(yù)測值和目標(biāo)損失函數(shù)更新模型參數(shù)，包括：

87、在訓(xùn)練互聯(lián)網(wǎng)服務(wù)質(zhì)量預(yù)測模型的過程中采用下式計(jì)算損失值：

88、；

89、其中：

90、表示函數(shù)損失值；

91、表示用戶總數(shù)；表示互聯(lián)網(wǎng)服務(wù)總數(shù)；

92、表示在時(shí)間片目標(biāo)用戶調(diào)用服務(wù)的服務(wù)質(zhì)量實(shí)際值；

93、表示在時(shí)間片目標(biāo)用戶調(diào)用服務(wù)的服務(wù)質(zhì)量預(yù)測值；

94、通過梯度下降法更新模型參數(shù)，采用下式更新模型參數(shù)：

95、；

96、；

97、；

98、其中：

99、表示模型訓(xùn)練過程中控制梯度下降快慢的學(xué)習(xí)率；

100、表示偏導(dǎo)數(shù)；

101、表示特征增強(qiáng)神經(jīng)網(wǎng)絡(luò)的第一模型參數(shù)；

102、表示門控遞歸深度神經(jīng)網(wǎng)絡(luò)中的第二模型參數(shù)；

103、表示預(yù)測神經(jīng)網(wǎng)絡(luò)中的第三模型參數(shù)。

104、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

105、1、本發(fā)明基于目標(biāo)用戶在調(diào)用多個(gè)備選互聯(lián)網(wǎng)服務(wù)時(shí)對應(yīng)的服務(wù)質(zhì)量時(shí)間序列提取了用戶和服務(wù)在不同時(shí)間片中變化特征的用戶-服務(wù)增強(qiáng)特征，得到多個(gè)與備選互聯(lián)網(wǎng)服務(wù)對應(yīng)的服務(wù)質(zhì)量預(yù)測值，通過精準(zhǔn)的服務(wù)質(zhì)量預(yù)測值，使得目標(biāo)用戶對當(dāng)前互聯(lián)網(wǎng)服務(wù)的精準(zhǔn)選取，改善了用戶在調(diào)用互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)吞吐量的響應(yīng)時(shí)間。

106、2、本發(fā)明采用多頭注意力機(jī)制確定用戶和服務(wù)在不同時(shí)間片中變化特征的用戶-服務(wù)增強(qiáng)特征，基于目標(biāo)用戶的查詢量、其他用戶的鍵向量以及其他用戶的值向量來提取不同尺度的用戶和服務(wù)的特征向量，這有助于捕獲不同粒度下的用戶和服務(wù)特征交互關(guān)系，以提高特征表達(dá)能力，從而提高預(yù)測精度。

107、3、本發(fā)明基于用戶-服務(wù)增強(qiáng)特征，采用遞歸門控深度網(wǎng)絡(luò)對用戶-服務(wù)增強(qiáng)特征進(jìn)行時(shí)間感知，有效捕獲和處理用戶-服務(wù)增強(qiáng)特征中的動(dòng)態(tài)變化和依賴關(guān)系，得到時(shí)間感知特征，并最終根據(jù)時(shí)間感知特征得到精準(zhǔn)的服務(wù)質(zhì)量預(yù)測值。