本公開實施例涉及圖像處理，尤其涉及一種手勢識別方法、裝置、設備及存儲介質。

背景技術：

1、隨著圖像處理技術的發(fā)展，技術人員開發(fā)了越來越多的圖像處理場景。例如，虛擬現(xiàn)實場景、增強現(xiàn)實場景等。在許多互動場景中，都需要識別手部對象的手勢，得到該手勢對應的操作指令。

2、現(xiàn)有技術中，手勢識別方法包括：先采集當前時刻的手部圖像，然后將當前時刻的手部圖像輸入訓練好的神經(jīng)網(wǎng)絡模型，得到該手部圖像對應的手勢識別結果。

3、然而，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術至少存在如下技術問題：通過當前時刻的單張手部圖像，對手部圖像進行手勢識別的準確性較低。

技術實現(xiàn)思路

1、本公開實施例提供一種手勢識別方法、裝置、設備及存儲介質，以克服對手部圖像進行手勢識別的準確性較低的問題。

2、第一方面，本公開實施例提供一種手勢識別方法，所述手勢包括姿態(tài)信息和手勢指令信息，所述方法包括：

3、獲取距當前第一預設時長內包括手部對象的多幀圖像；

4、對所述多幀圖像分別進行特征提取，得到所述多幀圖像各自分別對應的特征向量；

5、針對當前幀圖像，確定所述當前幀圖像之前的至少一幀目標圖像，根據(jù)當前幀圖像對應的特征向量、所述至少一幀目標圖像各自分別對應的特征向量和預設深度學習模型，確定所述手部對象對應的姿態(tài)信息；

6、根據(jù)所述多幀圖像各自分別對應的特征向量和所述預設深度學習模型，確定所述手部對象對應的手勢指令信息。

7、第二方面，本公開實施例提供一種手勢識別裝置，所述手勢包括姿態(tài)信息和手勢指令信息，所述裝置包括：

8、獲取模塊，用于獲取距當前第一預設時長內包括手部對象的多幀圖像；

9、特征提取模塊，用于對所述多幀圖像分別進行特征提取，得到所述多幀圖像各自分別對應的特征向量；

10、第一識別模塊，用于針對當前幀圖像，確定所述當前幀圖像之前的至少一幀目標圖像，根據(jù)當前幀圖像對應的特征向量、所述至少一幀目標圖像各自分別對應的特征向量和預設深度學習模型，確定所述手部對象對應的姿態(tài)信息；

11、第二識別模塊，用于根據(jù)所述多幀圖像各自分別對應的特征向量和所述預設深度學習模型，確定所述手部對象對應的手勢指令信息。

12、第三方面，本公開實施例提供一種電子設備，包括：

13、處理器，以及與所述處理器通信連接的存儲器；

14、所述存儲器存儲計算機執(zhí)行指令；

15、所述處理器執(zhí)行所述存儲器存儲的計算機執(zhí)行指令，以實現(xiàn)如上第一方面以及第一方面各種可能的設計所述的手勢識別方法。

16、第四方面，本公開實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行指令時，實現(xiàn)如上第一方面以及第一方面各種可能的設計所述的手勢識別方法。

17、第五方面，本公開實施例提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上第一方面以及第一方面各種可能的設計所述的手勢識別方法。

18、本實施例提供的手勢識別方法、裝置、設備及存儲介質，該方法包括：獲取距當前第一預設時長內包括手部對象的多幀圖像；對多幀圖像分別進行特征提取，得到多幀圖像各自分別對應的特征向量；針對當前幀圖像，確定當前幀圖像之前的至少一幀目標圖像，根據(jù)當前幀圖像對應的特征向量、至少一幀目標圖像各自分別對應的特征向量和預設深度學習模型，確定手部對象對應的姿態(tài)信息；根據(jù)多幀圖像各自分別對應的特征向量和預設深度學習模型，確定手部對象對應的手勢指令信息。在本公開實施例中，由于綜合了姿態(tài)信息和手勢指令信息各自的特征，通過不同時序的圖像分別識別姿態(tài)信息和手勢指令信息，提高了識別準確性，并且通過同一個模型可以得到姿態(tài)信息和手勢指令信息兩個信息，降低了電子設備的資源占用，提高識別效率。

技術特征：

1.一種手勢識別方法，其特征在于，所述手勢包括姿態(tài)信息和手勢指令信息，所述方法包括：

2.根據(jù)權利要求1所述的方法，其特征在于，其中對所述多幀圖像分別進行特征提取，得到所述多幀圖像各自分別對應的特征向量，包括：

3.根據(jù)權利要求1所述的方法，其特征在于，所述預設深度學習模型包括姿態(tài)融合模塊；

4.根據(jù)權利要求3所述的方法，其特征在于，所述預設深度學習模型還包括指令融合模塊；

5.根據(jù)權利要求1所述的方法，其特征在于，所述多幀圖像的數(shù)量為m，所述當前幀圖像為第m幀圖像；其中，m為大于1的正整數(shù)；

6.根據(jù)權利要求1至5任一項所述的方法，其特征在于，所述預設深度學習模型包括姿態(tài)融合模塊和指令融合模塊；

7.一種手勢識別裝置，其特征在于，所述手勢包括姿態(tài)信息和手勢指令信息，所述裝置包括：

8.一種電子設備，其特征在于，包括：處理器，以及與所述處理器通信連接的存儲器；

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行指令時，實現(xiàn)如權利要求1至6任一項所述的手勢識別方法。

10.一種計算機程序產(chǎn)品，其特征在于，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1至6中任一項所述的手勢識別方法。

技術總結
本公開實施例提供一種手勢識別方法、裝置、設備及存儲介質，該方法包括：獲取距當前第一預設時長內包括手部對象的多幀圖像；對多幀圖像分別進行特征提取，得到多幀圖像各自分別對應的特征向量；針對當前幀圖像，確定當前幀圖像之前的至少一幀目標圖像，根據(jù)當前幀圖像對應的特征向量、至少一幀目標圖像各自分別對應的特征向量和預設深度學習模型，確定手部對象對應的姿態(tài)信息；根據(jù)多幀圖像各自分別對應的特征向量和預設深度學習模型，確定手部對象對應的手勢指令信息。本申請通過不同時序的圖像分別識別姿態(tài)信息和手勢指令信息，提高了識別效率和識別準確性。

技術研發(fā)人員：胡慧,樊凱旋,黎澤明
受保護的技術使用者：北京字跳網(wǎng)絡技術有限公司
技術研發(fā)日：
技術公布日：2025/6/30