本發(fā)明涉及通信，特別涉及一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法和系統(tǒng)。
背景技術(shù)：
1、隨著物聯(lián)網(wǎng)和虛擬現(xiàn)實(shí)等帶寬密集型應(yīng)用的快速發(fā)展，無(wú)線通信網(wǎng)絡(luò)對(duì)數(shù)據(jù)傳輸?shù)男枨蟪尸F(xiàn)指數(shù)級(jí)增長(zhǎng)，這使得高效的無(wú)線通信系統(tǒng)設(shè)計(jì)成為研究熱點(diǎn)。其中，語(yǔ)義通信憑借其在提升傳輸效率、減少冗余以及適應(yīng)復(fù)雜信道環(huán)境等方面的潛力，已成為6g通信技術(shù)的重要研究方向。
2、當(dāng)前，語(yǔ)義通信系統(tǒng)性能提升的研究已取得諸多進(jìn)展，但高效的語(yǔ)義提取仍是亟待解決的關(guān)鍵挑戰(zhàn)。傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional?neural?network，cnn）的語(yǔ)義提取方法雖然能夠?qū)崿F(xiàn)較高精度，卻需要消耗大量計(jì)算資源。深度學(xué)習(xí)（deep?learning，dl）憑借其自動(dòng)提取語(yǔ)義特征的顯著優(yōu)勢(shì)，已在語(yǔ)義通信系統(tǒng)中得到應(yīng)用，但其對(duì)功耗與計(jì)算資源的需求依舊較高，且采用的網(wǎng)絡(luò)模型的參數(shù)量較大。而物聯(lián)網(wǎng)設(shè)備的功耗和計(jì)算資源有限，使得現(xiàn)有技術(shù)中的語(yǔ)義通信系統(tǒng)均難以高效應(yīng)用至物聯(lián)網(wǎng)設(shè)備，限制了物聯(lián)網(wǎng)技術(shù)的發(fā)展。
技術(shù)實(shí)現(xiàn)思路
1、基于此，本發(fā)明的目的是提供一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法和系統(tǒng)，以解決現(xiàn)有技術(shù)中的語(yǔ)義通信系統(tǒng)的資源消耗高，難以高效應(yīng)用至物聯(lián)網(wǎng)設(shè)備，限制了物聯(lián)網(wǎng)技術(shù)的發(fā)展的問(wèn)題。
2、本發(fā)明一方面提供一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，包括：
3、對(duì)目標(biāo)圖像依次進(jìn)行第一卷積處理、下采樣和第一空洞空間金字塔池化，以獲得編碼數(shù)據(jù)；
4、根據(jù)接收到的所述編碼數(shù)據(jù)依次進(jìn)行上采樣、第二卷積處理和第二空洞空間金字塔池化，以獲得所述目標(biāo)圖像的重構(gòu)圖像；
5、以及，對(duì)所述目標(biāo)圖像進(jìn)行外移位卷積，以獲得第一特征圖，所述第一特征圖的特征尺寸與所述下采樣的輸入數(shù)據(jù)的特征尺寸一致；
6、其中，所述下采樣包括依次進(jìn)行的特征拼接、內(nèi)移位卷積和非線性激活，所述特征拼接用于將所述第一特征圖拼接至所述下采樣的輸入數(shù)據(jù)中；
7、所述第一特征圖還通過(guò)殘差連接疊加至所述內(nèi)移位卷積的輸出數(shù)據(jù)中；
8、所述外移位卷積和所述內(nèi)移位卷積均包括依次進(jìn)行的移位、批量歸一化和點(diǎn)態(tài)卷積；
9、所述下采樣連續(xù)執(zhí)行有多次。
10、可選地，所述下采樣還包括：
11、根據(jù)通道注意力機(jī)制調(diào)整所述下采樣的輸入數(shù)據(jù)的通道權(quán)重，獲得第一中間數(shù)據(jù)；
12、其中，所述特征拼接用于將所述第一特征圖拼接至所述第一中間數(shù)據(jù)，獲得第二中間數(shù)據(jù)，以根據(jù)所述第二中間數(shù)據(jù)進(jìn)行內(nèi)移位卷積。
13、可選地，根據(jù)通道注意力機(jī)制調(diào)整輸入數(shù)據(jù)的通道權(quán)重，獲得第一中間數(shù)據(jù)的步驟還包括：
14、依次進(jìn)行的第三卷積處理、第一全局平均池化、全連接層降維、激活、全連接層升維、第二全局平均池化和通道加權(quán)；
15、其中，所述第三卷積處理的輸出還通過(guò)殘差連接疊加至所述第二全局平均池化的輸出數(shù)據(jù)中。
16、可選地，獲得編碼數(shù)據(jù)的步驟為順序處理模式，且還包括：根據(jù)當(dāng)前所述下采樣的輸入數(shù)據(jù)的尺寸與所述目標(biāo)圖像的尺寸差異獲得縮放因子，并根據(jù)所述縮放因子獲得所述外移位卷積的移位操作步長(zhǎng)，以使獲得的所述第一特征圖的尺寸與當(dāng)前所述下采樣的輸入數(shù)據(jù)的尺寸一致。
17、可選地，還包括：將所述第一特征圖拼接至所述第一空洞空間金字塔池化的輸入數(shù)據(jù)中。
18、本發(fā)明另一方面提供一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，包括：
19、編碼器，包括依次連接的第一卷積模塊、下采樣模塊和第一空洞空間金字塔池化模塊，用于對(duì)目標(biāo)圖像依次進(jìn)行第一卷積處理、下采樣和第一空洞空間金字塔池化，以獲得編碼數(shù)據(jù)；
20、解碼器，包括依次連接的上采樣模塊、第二卷積模塊和第二空洞空間金字塔池化模塊，用于根據(jù)接收到的所述編碼數(shù)據(jù)依次進(jìn)行上采樣、第二卷積處理和第二空洞空間金字塔池化，以獲得所述目標(biāo)圖像的重構(gòu)圖像；
21、其中，所述編碼器還包括外移位卷積單元，所述外移位卷積單元用于對(duì)所述目標(biāo)圖像進(jìn)行外移位卷積，以獲得第一特征圖，所述第一特征圖的特征尺寸與所述下采樣的特征尺寸一致；
22、所述下采樣模塊包括依次連接的特征拼接單元、內(nèi)移位卷積單元和非線性激活單元，其中，所述特征拼接用于將所述第一特征圖拼接至所述下采樣模塊的輸入數(shù)據(jù)中；
23、所述外移位卷積單元還連接至所述內(nèi)移位卷積單元的輸出端，以將所述第一特征圖通過(guò)殘差連接疊加至所述內(nèi)移位卷積單元的輸出數(shù)據(jù)中；
24、所述外移位卷積單元和所述內(nèi)移位卷積單元均包括依次連接的移位層、批量歸一化層和點(diǎn)態(tài)卷積層；
25、所述下采樣模塊連續(xù)設(shè)置有多個(gè)。
26、可選地，所述下采樣模塊還包括：
27、壓縮激勵(lì)單元，用于根據(jù)通道注意力機(jī)制調(diào)整所述下采樣的輸入數(shù)據(jù)的通道權(quán)重，獲得第一中間數(shù)據(jù)；
28、其中，所述特征拼接單元用于將所述第一特征圖拼接至所述第一中間數(shù)據(jù)，以獲得第二中間數(shù)據(jù)，并將所述第二中間數(shù)據(jù)作為所述內(nèi)移位卷積單元的輸入數(shù)據(jù)。
29、可選地，所述壓縮激勵(lì)單元包括：
30、依次連接的第三卷積層、第一全局平均池化層、全連接層降維層、激活層、全連接層升維層、第二全局平均池化層和通道加權(quán)層；
31、其中，所述第三卷積層的輸出還通過(guò)殘差連接疊加至所述第二全局平均池化層的輸出數(shù)據(jù)中。
32、可選地，所述編碼器的工作模式為順序處理模式，所述外移位卷積單元還用于：根據(jù)當(dāng)前所述下采樣模塊的輸入數(shù)據(jù)的尺寸與所述目標(biāo)圖像的尺寸差異獲得縮放因子，并根據(jù)所述縮放因子獲得所述外移位卷積單元的移位操作步長(zhǎng)，以使獲得的所述第一特征圖的尺寸與當(dāng)前所述下采樣模塊的輸入數(shù)據(jù)的尺寸一致。
33、可選地，所述第一特征圖還拼接至所述第一空洞空間金字塔池化模塊的輸入數(shù)據(jù)中。
34、本發(fā)明提供的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法通過(guò)移位卷積替換下采樣中的傳統(tǒng)卷積需求，可有效降低計(jì)算復(fù)雜度，且對(duì)輸入的目標(biāo)圖像進(jìn)行外移位卷積處理，將獲得的第一特征圖拼接至下采樣的輸入數(shù)據(jù)中，構(gòu)成兩次移位卷積操作，可有效提升語(yǔ)義特征的提取效率；且下采樣連續(xù)執(zhí)行多次，外移位卷積可復(fù)用，進(jìn)一步降低對(duì)計(jì)算資源的需求，提升輕量化程度；第一特征圖為根據(jù)目標(biāo)圖像獲得的原始信息，將原始信息拼接至各下采樣中，可降低連續(xù)多次移位卷積造成的原始信息損失影響，提高重構(gòu)圖像質(zhì)量。本發(fā)明提供的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法通過(guò)外移位卷積和多次下采樣的內(nèi)移位卷積的組合，可有效降低對(duì)編碼端的計(jì)算資源需求，且可減少原始信息的損失，提升解碼獲得的重構(gòu)圖像質(zhì)量。
1.一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，其特征在于，所述下采樣還包括：
3.根據(jù)權(quán)利要求2所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，其特征在于，根據(jù)通道注意力機(jī)制調(diào)整輸入數(shù)據(jù)的通道權(quán)重，獲得第一中間數(shù)據(jù)的步驟還包括：
4.根據(jù)權(quán)利要求1所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，其特征在于，獲得編碼數(shù)據(jù)的步驟為順序處理模式，且還包括：根據(jù)當(dāng)前所述下采樣的輸入數(shù)據(jù)的尺寸與所述目標(biāo)圖像的尺寸差異獲得縮放因子，并根據(jù)所述縮放因子獲得所述外移位卷積的移位操作步長(zhǎng)，以使獲得的所述第一特征圖的尺寸與當(dāng)前所述下采樣的輸入數(shù)據(jù)的尺寸一致。
5.根據(jù)權(quán)利要求1所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信方法，其特征在于，還包括：將所述第一特征圖拼接至所述第一空洞空間金字塔池化的輸入數(shù)據(jù)中。
6.一種面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，其特征在于，包括：
7.根據(jù)權(quán)利要求6所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，其特征在于，所述下采樣模塊還包括：
8.根據(jù)權(quán)利要求7所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，其特征在于，所述壓縮激勵(lì)單元包括：
9.根據(jù)權(quán)利要求6所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，其特征在于，所述編碼器的工作模式為順序處理模式，所述外移位卷積單元還用于：根據(jù)當(dāng)前所述下采樣模塊的輸入數(shù)據(jù)的尺寸與所述目標(biāo)圖像的尺寸差異獲得縮放因子，并根據(jù)所述縮放因子獲得所述外移位卷積單元的移位操作步長(zhǎng)，以使獲得的所述第一特征圖的尺寸與當(dāng)前所述下采樣模塊的輸入數(shù)據(jù)的尺寸一致。
10.根據(jù)權(quán)利要求6所述的面向圖像傳輸?shù)妮p量級(jí)語(yǔ)義通信系統(tǒng)，其特征在于，所述第一特征圖還拼接至所述第一空洞空間金字塔池化模塊的輸入數(shù)據(jù)中。