本發(fā)明涉及智能路由算法，更具體地，涉及一種面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置。
背景技術(shù)：
1、時變網(wǎng)絡(luò)具有網(wǎng)絡(luò)拓撲結(jié)構(gòu)動態(tài)可變、節(jié)點鏈路異質(zhì)異構(gòu)、網(wǎng)絡(luò)流量突發(fā)等特性，因此，根據(jù)網(wǎng)絡(luò)鏈路狀態(tài)的意圖進行感知、生成路由并實現(xiàn)數(shù)據(jù)的及時、有效、可靠傳輸是十分重要的。傳統(tǒng)的路由算法通常根據(jù)有限的鏈路狀態(tài)信息，進行最短路徑的選擇從而實現(xiàn)業(yè)務(wù)傳輸，這會導(dǎo)致對于復(fù)雜場景下的網(wǎng)絡(luò)拓撲變化難以快速響應(yīng)，因此無法滿足業(yè)務(wù)服務(wù)質(zhì)量的需求。為了滿足時變網(wǎng)絡(luò)的需求，現(xiàn)有的智能化路由算法在近幾年得到了飛速的發(fā)展，其中，基于強化學(xué)習(xí)的智能路由算法受到研究人員的廣泛關(guān)注。不同于其他深度學(xué)習(xí)算法，強化學(xué)習(xí)可以在不需要先驗環(huán)境知識的情況下保持自學(xué)習(xí)的優(yōu)勢，同時能夠解決高維狀態(tài)空間的優(yōu)化問題，因此，以強化學(xué)習(xí)為基礎(chǔ)的智能路由算法成為主流趨勢。
2、然而，現(xiàn)有以強化學(xué)習(xí)為基礎(chǔ)的智能路由算法存在實際場景自適應(yīng)差、收斂速度慢等問題，且大多數(shù)算法只考慮帶寬、傳輸速率等因素的影響而忽略了地形環(huán)境、節(jié)點運動預(yù)測等情況對路由生成的影響，導(dǎo)致不能自適應(yīng)地根據(jù)末端網(wǎng)絡(luò)狀態(tài)進行路由生成。
技術(shù)實現(xiàn)思路
1、有鑒于此，本發(fā)明提供了一種面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，旨在解決現(xiàn)有智能路由算法存在實際場景自適應(yīng)性差、收斂速度慢的技術(shù)問題。
2、本發(fā)明的一個方面提供了一種面向時變網(wǎng)絡(luò)的意圖感知路由生成方法，包括：獲取業(yè)務(wù)請求信息，并對業(yè)務(wù)請求信息進行解析，得到業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)，其中，業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)表征本次業(yè)務(wù)請求的意圖；根據(jù)意圖，從時變網(wǎng)絡(luò)的源節(jié)點出發(fā)，搜索出能夠到達目標節(jié)點的可行路徑矩陣；基于可行路徑矩陣，計算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣；根據(jù)鏈路狀態(tài)矩陣和可行路徑矩陣對應(yīng)的地形特征，生成網(wǎng)絡(luò)狀態(tài)空間特征；將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標路由。
3、根據(jù)本發(fā)明的實施例，根據(jù)意圖，從時變網(wǎng)絡(luò)的源節(jié)點出發(fā)，搜索出能夠到達目標節(jié)點的可行路徑矩陣包括：獲取時變網(wǎng)絡(luò)中的路由節(jié)點集合，以及路由節(jié)點之間的鏈路集合；根據(jù)所述路由節(jié)點集合和所述鏈路集合，生成時變網(wǎng)絡(luò)末端節(jié)點的網(wǎng)絡(luò)拓撲；根據(jù)所述網(wǎng)絡(luò)拓撲，利用所述意圖生成源節(jié)點到達目標節(jié)點的可行路徑矩陣。
4、根據(jù)本發(fā)明的實施例，基于可行路徑矩陣，計算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：計算可行路徑矩陣中每條鏈路的時延參數(shù)；計算可行路徑矩陣中每條鏈路的剩余寬帶參數(shù)；計算可行路徑矩陣中每條鏈路的丟包率；計算可行路徑矩陣中每條鏈路的地形影響率；根據(jù)時延參數(shù)、剩余寬帶參數(shù)、丟包率和地形影響率，生成可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣。
5、根據(jù)本發(fā)明的實施例，計算可行路徑矩陣中每條鏈路的地形影響率包括：根據(jù)每條鏈路中兩個節(jié)點之間的移動距離通過蒙特卡洛方法計算得到每條鏈路受地形影響的概率。
6、根據(jù)本發(fā)明的實施例，根據(jù)每條鏈路中兩個節(jié)點之間的移動距離通過蒙特卡洛方法計算得到每條鏈路受地形的影響概率包括：響應(yīng)于經(jīng)過隨機采樣，確定每條鏈路中兩個節(jié)點的坐標；響應(yīng)于經(jīng)過重復(fù)采樣n次，其中有n次的鏈路與障礙物相交，則鏈路受地形的影響概率f?(ei,j)為：
7、
8、其中，ei,j表示節(jié)點vi和vj之間的鏈路。
9、根據(jù)本發(fā)明的實施例，根據(jù)時延參數(shù)、剩余寬帶參數(shù)、丟包率和地形影響率，生成可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
10、
11、其中，mp表示鏈路狀態(tài)矩陣，d表示時延參數(shù)、b表示剩余帶寬參數(shù)、l表示丟包率、f表示地形影響率。
12、根據(jù)本發(fā)明的實施例，將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標路由包括：根據(jù)路徑?jīng)Q策策略，確定出可行路徑矩陣中預(yù)期價值最大的路徑，其中，路徑?jīng)Q策策略被配置為貪心策略；根據(jù)可行路徑矩陣中預(yù)期價值最大的路徑，生成目標路由。
13、本發(fā)明的另一個方面提供了一種面向時變網(wǎng)絡(luò)的意圖感知路由生成裝置，包括：獲取模塊，用于獲取業(yè)務(wù)請求信息，并對業(yè)務(wù)請求信息進行解析，得到業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)，其中，業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)表征本次業(yè)務(wù)請求的意圖；搜索模塊，用于根據(jù)意圖，從時變網(wǎng)絡(luò)的源節(jié)點出發(fā)，搜索出能夠到達目標節(jié)點的可行路徑矩陣；計算模塊，用于基于可行路徑矩陣，計算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣；生成模塊，用于根據(jù)鏈路狀態(tài)矩陣和可行路徑矩陣對應(yīng)的地形特征，生成網(wǎng)絡(luò)狀態(tài)空間特征；決策模塊，用于將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標路由。
14、本發(fā)明的另一個方面提供了一種電子設(shè)備，包括：一個或多個處理器；存儲器，用于存儲一個或多個程序，其中，當一個或多個程序被一個或多個處理器執(zhí)行時，使得一個或多個處理器實現(xiàn)如上的方法。
15、本發(fā)明的另一方面提供了一種計算機可讀存儲介質(zhì)，存儲有計算機可執(zhí)行指令，指令在被執(zhí)行時用于實現(xiàn)如上的方法。
16、本發(fā)明的另一方面提供了一種計算機程序產(chǎn)品，計算機程序產(chǎn)品包括計算機可執(zhí)行指令，指令在被執(zhí)行時用于實現(xiàn)如上的方法。
17、與現(xiàn)有技術(shù)相比，本發(fā)明實施例提供的面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，至少具有以下有益效果：
18、（1）本發(fā)明實施例提供的面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，利用了基于業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求與網(wǎng)絡(luò)鏈路資源、地理環(huán)境信息的動態(tài)路由選擇機制，增強了路由生成方法對于復(fù)雜環(huán)境的自適應(yīng)性，因此解決了現(xiàn)有智能路由算法存在實際場景自適應(yīng)性差的技術(shù)問題。
19、（2）本發(fā)明實施例提供的面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，通過蒙特卡洛方法隨機取樣計算鏈路受地形的影響概率，并將該數(shù)據(jù)作為時變網(wǎng)絡(luò)狀態(tài)空間特征之一，同時考慮通信服務(wù)質(zhì)量、地理環(huán)境和網(wǎng)絡(luò)終端節(jié)點變換對路由生成的影響，提高了智能路由生成算法的自適應(yīng)性。
20、（3）本發(fā)明實施例提供的面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，使用了強化學(xué)習(xí)模型而非其他深度模型，這是因為時變網(wǎng)絡(luò)的末端網(wǎng)絡(luò)節(jié)點自由度較大，難以獲得可用于訓(xùn)練的大量樣本集，導(dǎo)致通過監(jiān)督學(xué)習(xí)等對樣本敏感的智能路由算法不適用復(fù)雜通信網(wǎng)絡(luò)環(huán)境，而強化學(xué)習(xí)的無監(jiān)督學(xué)習(xí)機制非常適合于時變網(wǎng)絡(luò)的場景。
21、（4）本發(fā)明實施例提供的面向時變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，使用dueling?dqn強化學(xué)習(xí)模型（改進后的deep?q-network模型），而非常用的single?dqn（傳統(tǒng)的deep?q-network模型），這是因為dueling?dqn強化學(xué)習(xí)模型算法收斂速度更快，更適用于時變網(wǎng)絡(luò)頻繁發(fā)生的情況。
1.一種面向時變網(wǎng)絡(luò)的意圖感知路由生成方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述意圖，從時變網(wǎng)絡(luò)的源節(jié)點出發(fā)，搜索出能夠到達目標節(jié)點的可行路徑矩陣包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述可行路徑矩陣，計算得到所述可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述計算所述可行路徑矩陣中每條鏈路的地形影響率包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)每條鏈路中兩個節(jié)點之間的移動距離通過蒙特卡洛方法計算得到每條鏈路受地形的影響概率包括：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述時延參數(shù)、所述剩余寬帶參數(shù)、所述丟包率和所述地形影響率，生成所述可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強化學(xué)習(xí)模型，決策出能夠滿足所述業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標路由包括：
8.一種面向時變網(wǎng)絡(luò)的意圖感知路由生成裝置，其特征在于，所述裝置包括：
9.一種電子設(shè)備，其特征在于，包括：
10.一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行指令，其特征在于，該指令被處理器執(zhí)行時使處理器執(zhí)行根據(jù)權(quán)利要求1~7中任一項所述的方法。