本發(fā)明涉及數(shù)據(jù)分析，尤其涉及一種基于屬性引導(dǎo)的視覺情感分析方法、系統(tǒng)、終端及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、情感是人獨(dú)特且不可或缺的特征，滲透到日常生活的方方面面。隨著社交媒體的興起，越來越多的人通過分享圖片來表達(dá)自己的情感體驗(yàn)。因此，視覺情感分析受到了廣泛關(guān)注，其目標(biāo)是深入理解個(gè)體對(duì)各種視覺刺激的情感反應(yīng)，并對(duì)這些預(yù)測(cè)提供解釋。在視覺情感分析研究中，一個(gè)固有的挑戰(zhàn)被稱為“情感鴻溝”。情感是大腦對(duì)外部刺激和內(nèi)部狀態(tài)的復(fù)雜反應(yīng)，而圖像中包含的是不同形態(tài)的視覺元素，然而像素層面的語義信息相對(duì)容易識(shí)別，但對(duì)高度復(fù)雜情感的感知?jiǎng)t更具挑戰(zhàn)性。這種主要源于視覺元素與人類情感體驗(yàn)之間的表征差異就是所謂的情感鴻溝。

2、盡管深度學(xué)習(xí)方法在視覺表征提取方面取得了顯著進(jìn)展，但忽略了情感表達(dá)中的細(xì)微差異，例如，色彩、光照和構(gòu)圖等低級(jí)視覺表征可以提供某種情感暗示。為了解決此問題，現(xiàn)有技術(shù)通過多模態(tài)學(xué)習(xí)、注意力機(jī)制和大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的方法來縮小此情感鴻溝。例如，利用語言描述增強(qiáng)情感語義理解，或者通過生成模型構(gòu)建更具情感感知能力的視覺表征。但現(xiàn)有技術(shù)使用神經(jīng)網(wǎng)絡(luò)提取全局的表征信息，沒有提及使用專用的屬性網(wǎng)絡(luò)來獲取屬性表征，而是通過所提出的網(wǎng)絡(luò)獲取相應(yīng)的屬性表征；其次，在情感分析中沒有分析屬性之間的關(guān)聯(lián)，直接進(jìn)行情感推理分析，還直接對(duì)表征進(jìn)行情感類別的分類預(yù)測(cè)，從而導(dǎo)致情感分析的結(jié)果不夠準(zhǔn)確。

3、因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于屬性引導(dǎo)的視覺情感分析方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)在情感分析中沒有使用專用的屬性網(wǎng)絡(luò)來獲取特屬性表征，且沒有分析屬性之間的關(guān)聯(lián)，并進(jìn)行情感推理分析，從而導(dǎo)致情感分析結(jié)果不夠準(zhǔn)確的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于屬性引導(dǎo)的視覺情感分析方法，所述基于屬性引導(dǎo)的視覺情感分析方法包括如下步驟：

3、獲取目標(biāo)用戶的待分析情感圖像，對(duì)所述待分析情感圖像進(jìn)行表征提取，得到多個(gè)視覺屬性表征，并對(duì)所述待分析情感圖像進(jìn)行文本表征提取，得到多個(gè)文本屬性表征；

4、將所有所述視覺屬性表征和所有所述文本屬性表征進(jìn)行對(duì)齊處理，得到多個(gè)目標(biāo)視覺屬性表征，并對(duì)所有所述目標(biāo)視覺屬性表征進(jìn)行屬性關(guān)聯(lián)分析，得到屬性關(guān)聯(lián)信息；

5、根據(jù)所述屬性關(guān)聯(lián)信息構(gòu)建屬性情感圖譜，對(duì)所述屬性情感圖譜進(jìn)行優(yōu)化處理，得到目標(biāo)屬性情感圖譜，并根據(jù)所述目標(biāo)屬性情感圖譜進(jìn)行情感預(yù)測(cè)，得到情感預(yù)測(cè)結(jié)果。

6、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述獲取目標(biāo)用戶的待分析情感圖像，對(duì)所述待分析情感圖像進(jìn)行表征提取，得到多個(gè)視覺屬性表征，并對(duì)所述待分析情感圖像進(jìn)行文本表征計(jì)算，得到多個(gè)文本屬性表征，具體包括：

7、獲取目標(biāo)用戶的待分析情感圖像，并構(gòu)建多層級(jí)屬性專家模塊；

8、通過所述多層級(jí)屬性專家模塊對(duì)所述待分析情感圖像進(jìn)行表征提取，得到多層級(jí)屬性表征，其中，所述多層級(jí)屬性表征包括低級(jí)屬性表征、中級(jí)屬性表征和高級(jí)屬性表征；

9、對(duì)所述多層級(jí)屬性表征進(jìn)行非線性變換，得到多個(gè)視覺屬性表征；

10、對(duì)所述待分析情感圖像進(jìn)行文本表征提取，得到多個(gè)文本屬性表征。

11、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述對(duì)所述多層級(jí)屬性表征進(jìn)行非線性變換，具體為：

12、；

13、所述對(duì)所述待分析情感圖像進(jìn)行文本表征提取，具體為：

14、；

15、其中，為視覺屬性表征集，為激活函數(shù)，為低級(jí)屬性表征，為中級(jí)屬性表征，為高級(jí)屬性表征，和均為可學(xué)習(xí)參數(shù)，為屬性模塊的個(gè)數(shù)，為文本屬性表征集，為文本適配器，為文本編碼器，為屬性嵌入編碼。

16、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述將所有所述視覺屬性表征和所有所述文本屬性表征進(jìn)行對(duì)齊處理，得到多個(gè)目標(biāo)視覺屬性表征，具體包括：

17、對(duì)所有所述視覺屬性表征和所有所述文本屬性表征進(jìn)行尺度同化，并將所有尺度同化后的視覺屬性表征和文本屬性表征進(jìn)行對(duì)齊處理，得到多個(gè)對(duì)齊后的視覺屬性表征；

18、對(duì)所有尺度同化后的視覺屬性表征和文本屬性表征進(jìn)行損失計(jì)算，得到屬性對(duì)齊損失，并根據(jù)所述屬性對(duì)齊損失對(duì)所有對(duì)齊后的視覺屬性表征進(jìn)行優(yōu)化處理，得到多個(gè)目標(biāo)視覺屬性表征。

19、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述對(duì)所有所述目標(biāo)視覺屬性表征進(jìn)行屬性關(guān)聯(lián)分析，得到屬性關(guān)聯(lián)信息，具體包括：

20、對(duì)所有所述目標(biāo)視覺屬性表征的屬性相關(guān)性進(jìn)行分值計(jì)算，得到多個(gè)相關(guān)性得分；

21、根據(jù)所有所述相關(guān)性得分對(duì)所有屬性進(jìn)行屬性關(guān)聯(lián)分析，得到屬性關(guān)聯(lián)信息。

22、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述根據(jù)所述屬性關(guān)聯(lián)信息構(gòu)建屬性情感圖譜，對(duì)所述屬性情感圖譜進(jìn)行優(yōu)化處理，得到目標(biāo)屬性情感圖譜，并根據(jù)所述目標(biāo)屬性情感圖譜進(jìn)行情感預(yù)測(cè)，得到情感預(yù)測(cè)結(jié)果，具體包括：

23、對(duì)所述屬性關(guān)聯(lián)信息進(jìn)行空間映射，得到屬性映射結(jié)果，并根據(jù)所述屬性映射結(jié)果構(gòu)建屬性情感圖譜；

24、對(duì)所有所述視覺屬性表征進(jìn)行損失計(jì)算，得到情感分類損失，并對(duì)所述情感分類損失和所述屬性對(duì)齊損失進(jìn)行總損失計(jì)算，得到目標(biāo)總損失；

25、根據(jù)所述目標(biāo)總損失對(duì)所述屬性情感圖譜進(jìn)行優(yōu)化處理，得到目標(biāo)屬性情感圖譜，并根據(jù)所述目標(biāo)屬性情感圖譜進(jìn)行情感預(yù)測(cè)，得到情感預(yù)測(cè)結(jié)果，其中，所述情感預(yù)測(cè)結(jié)果包括情感信息和情感解釋。

26、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述對(duì)所有所述視覺屬性表征進(jìn)行損失計(jì)算，具體為：

27、；

28、所述對(duì)所述情感分類損失和所述屬性對(duì)齊損失進(jìn)行總損失計(jì)算，具體為：

29、；

30、其中，為情感分類損失，為情感類別的總數(shù)，為屬性模塊的個(gè)數(shù)，為第個(gè)真實(shí)標(biāo)簽，為非線性映射， f為由視覺屬性表征構(gòu)成的集合，為屬性間的關(guān)聯(lián)分析，為情感類別的個(gè)數(shù)，為目標(biāo)總損失，為超參數(shù)，為屬性對(duì)齊損失。

31、可選地，所述的基于屬性引導(dǎo)的視覺情感分析方法，其中，所述基于屬性引導(dǎo)的視覺情感分析系統(tǒng)包括：

32、表征處理模塊，用于獲取目標(biāo)用戶的待分析情感圖像，對(duì)所述待分析情感圖像進(jìn)行表征提取，得到多個(gè)視覺屬性表征，并對(duì)所述待分析情感圖像進(jìn)行文本表征提取，得到多個(gè)文本屬性表征；

33、屬性分析模塊，用于將所有所述視覺屬性表征和所有所述文本屬性表征進(jìn)行對(duì)齊處理，得到多個(gè)目標(biāo)視覺屬性表征，并對(duì)所有所述目標(biāo)視覺屬性表征進(jìn)行屬性關(guān)聯(lián)分析，得到屬性關(guān)聯(lián)信息；

34、情感預(yù)測(cè)模塊，用于根據(jù)所述屬性關(guān)聯(lián)信息構(gòu)建屬性情感圖譜，對(duì)所述屬性情感圖譜進(jìn)行優(yōu)化處理，得到目標(biāo)屬性情感圖譜，并根據(jù)所述目標(biāo)屬性情感圖譜進(jìn)行情感預(yù)測(cè)，得到情感預(yù)測(cè)結(jié)果。

35、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種終端，其中，所述終端包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的基于屬性引導(dǎo)的視覺情感分析程序，所述基于屬性引導(dǎo)的視覺情感分析程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于屬性引導(dǎo)的視覺情感分析方法的步驟。

36、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有基于屬性引導(dǎo)的視覺情感分析程序，所述基于屬性引導(dǎo)的視覺情感分析程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于屬性引導(dǎo)的視覺情感分析方法的步驟。

37、本發(fā)明中，獲取目標(biāo)用戶的待分析情感圖像，對(duì)所述待分析情感圖像進(jìn)行表征提取，得到多個(gè)視覺屬性表征，并對(duì)所述待分析情感圖像進(jìn)行文本表征提取，得到多個(gè)文本屬性表征；將所有所述視覺屬性表征和所有所述文本屬性表征進(jìn)行對(duì)齊處理，得到多個(gè)目標(biāo)視覺屬性表征，并對(duì)所有所述目標(biāo)視覺屬性表征進(jìn)行屬性關(guān)聯(lián)分析，得到屬性關(guān)聯(lián)信息；根據(jù)所述屬性關(guān)聯(lián)信息構(gòu)建屬性情感圖譜，對(duì)所述屬性情感圖譜進(jìn)行優(yōu)化處理，得到目標(biāo)屬性情感圖譜，并根據(jù)所述目標(biāo)屬性情感圖譜進(jìn)行情感預(yù)測(cè)，得到情感預(yù)測(cè)結(jié)果。本發(fā)明通過多層級(jí)屬性專家級(jí)特征提取方法，并引入文本引導(dǎo)的多層級(jí)對(duì)齊模塊，同時(shí)將提取多個(gè)視覺屬性表征在文本屬性表征的引導(dǎo)下，優(yōu)化視覺屬性表征的提?。辉谇楦型评砣蝿?wù)中提出屬性關(guān)聯(lián)分析，以分析所有屬性及動(dòng)態(tài)調(diào)整每個(gè)屬性表征的權(quán)重，并將屬性關(guān)聯(lián)圖映射到情感空間進(jìn)行情感推理。通過構(gòu)建屬性情感圖譜，能夠深入分析情緒與屬性之間的關(guān)系，不僅考慮單一表征，還融合了多種屬性間的相互作用，增強(qiáng)了情緒識(shí)別的可解釋性，從而提升了情感分析結(jié)果的準(zhǔn)確性。