欧美日韩啪啪,最新精品在线,国产ts一区二区,色亚洲一区二区,草草影院国产,久久国产99,欧美日韩四区

一種基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法及裝置與流程

文檔序號(hào):42132112發(fā)布日期:2025-06-10 17:26閱讀:26來(lái)源:國(guó)知局

本公開涉及數(shù)據(jù)處理,具體涉及一種基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法及裝置。


背景技術(shù):

1、隨著現(xiàn)代社會(huì)的社交媒體,短視頻的應(yīng)用越來(lái)越普及,視頻在我們?nèi)粘I钪邪缪葜絹?lái)越重要的角色。但是因?yàn)槿粘E臄z視頻通常是手機(jī)、無(wú)人機(jī)等業(yè)余設(shè)備,不具備穩(wěn)像功能,所以拍攝的效果不佳,如果采用專業(yè)硬件設(shè)備來(lái)穩(wěn)像,又有攜帶不方便、成本高等缺點(diǎn),視頻穩(wěn)像算法成為當(dāng)前必備的改善視頻抖動(dòng)效果的方案。

2、目前,純圖像穩(wěn)像算法如果要做到實(shí)時(shí)處理,一般會(huì)采用卡爾曼濾波,但傳統(tǒng)的基于卡爾曼濾波的視頻穩(wěn)像算法,通常會(huì)對(duì)單應(yīng)性變換在連續(xù)幀中產(chǎn)生的畸變進(jìn)行畸變量的分離,再使用分畸變后的主運(yùn)動(dòng)量進(jìn)行濾波來(lái)獲得穩(wěn)像效果,這種方式需要對(duì)運(yùn)動(dòng)向量進(jìn)行分解,計(jì)算過(guò)程復(fù)雜。例如在處理視頻幀間的復(fù)雜運(yùn)動(dòng)時(shí),要精確分析每個(gè)運(yùn)動(dòng)分量對(duì)單應(yīng)性矩陣的影響,計(jì)算量巨大。

3、綜上所述,如何提升基于卡爾曼濾波的視頻穩(wěn)像效率,降低算法復(fù)雜度,實(shí)現(xiàn)實(shí)時(shí)處理,成為亟待解決的問(wèn)題。


技術(shù)實(shí)現(xiàn)思路

1、有鑒于此,本技術(shù)實(shí)施例提供了一種基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法及裝置,能夠提升視頻穩(wěn)像的效率。

2、第一方面,本技術(shù)實(shí)施例提供了一種基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法,包括:

3、根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣;所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像是基于待穩(wěn)像視頻中相鄰兩幀視頻幀對(duì)應(yīng)的第一原始圖像和第二原始圖像得到的;

4、對(duì)所述初始單應(yīng)性矩陣進(jìn)行卡爾曼濾波,獲取預(yù)測(cè)單應(yīng)性矩陣,并結(jié)合標(biāo)準(zhǔn)單位矩陣進(jìn)行加權(quán)計(jì)算,獲取維穩(wěn)單應(yīng)性矩陣;

5、分別采用所述預(yù)測(cè)單應(yīng)性矩陣和所述維穩(wěn)單應(yīng)性矩陣對(duì)所述第一初始特征點(diǎn)集合進(jìn)行幾何變換,獲取第一目標(biāo)特征點(diǎn)集合和第二目標(biāo)特征點(diǎn)集合;

6、基于所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行ransac迭代計(jì)算,獲取目標(biāo)穩(wěn)像單應(yīng)性矩陣;

7、基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一原始圖像第進(jìn)行透射變換,生成目標(biāo)穩(wěn)像幀。

8、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣之前,所述方法還包括:

9、對(duì)所述待穩(wěn)像視頻進(jìn)行解析,獲取相鄰兩幀視頻幀對(duì)應(yīng)的所述第一原始圖像和所述第二原始圖像;

10、將所述第一原始圖像和所述第二原始圖像的圖像格式轉(zhuǎn)換為灰度圖像,以生成所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像;

11、采用orb特征點(diǎn)提取算法對(duì)所述第一原始圖像和所述第二原始圖像進(jìn)行特征點(diǎn)提取,生成所述第一初始特征點(diǎn)集合和所述第二初始特征點(diǎn)集合。

12、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述基于所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行ransac迭代計(jì)算,獲取目標(biāo)穩(wěn)像單應(yīng)性矩陣,包括:

13、對(duì)所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行特征點(diǎn)匹配,通過(guò)ransac算法進(jìn)行迭代計(jì)算,以獲取所述相鄰兩幀的單幀圖像對(duì)應(yīng)的初始單應(yīng)性矩陣。

14、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,在所述根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣之前,所述方法還包括:

15、將所述第一原始圖像和所述第二原始圖像的圖像格式轉(zhuǎn)換為灰度圖像,獲取第一初始灰度圖像和第二初始灰度圖像;

16、基于預(yù)設(shè)縮小系數(shù)將所述第一初始灰度圖像和所述第二初始灰度圖像進(jìn)行縮小處理,以生成所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像。

17、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣之后,所述方法還包括:

18、基于預(yù)設(shè)放大系數(shù),對(duì)所述初始單應(yīng)性矩陣進(jìn)行放大操作。

19、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述對(duì)所述初始單應(yīng)性矩陣進(jìn)行卡爾曼濾波,獲取預(yù)測(cè)單應(yīng)性矩陣,包括:

20、通過(guò)歷史預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值和目標(biāo)狀態(tài)轉(zhuǎn)移矩陣,獲取所述預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值;

21、根據(jù)所述預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值以及所述初始單應(yīng)性矩陣進(jìn)行校驗(yàn)更新,以獲取所述預(yù)測(cè)單應(yīng)性矩陣。

22、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一原始圖像第進(jìn)行透射變換,生成目標(biāo)穩(wěn)像幀,包括:

23、將所述第一原始圖像的圖像格式轉(zhuǎn)換為yuv格式,以生成第一yuv圖像;

24、基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一yuv圖像第進(jìn)行透射變換,獲取目標(biāo)穩(wěn)像幀。

25、第二方面,本技術(shù)實(shí)施例提供了一種基于卡爾曼濾波的視頻穩(wěn)像幀獲取裝置,包括:

26、計(jì)算單元,用于根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣;所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像是基于待穩(wěn)像視頻中相鄰兩幀視頻幀對(duì)應(yīng)的第一原始圖像和第二原始圖像得到的;

27、濾波單元,用于對(duì)所述初始單應(yīng)性矩陣進(jìn)行卡爾曼濾波,獲取預(yù)測(cè)單應(yīng)性矩陣,并結(jié)合標(biāo)準(zhǔn)單位矩陣進(jìn)行加權(quán)計(jì)算,獲取維穩(wěn)單應(yīng)性矩陣;

28、變換單元,用于分別采用所述預(yù)測(cè)單應(yīng)性矩陣和所述維穩(wěn)單應(yīng)性矩陣對(duì)所述第一初始特征點(diǎn)集合進(jìn)行幾何變換,獲取第一目標(biāo)特征點(diǎn)集合和第二目標(biāo)特征點(diǎn)集合;

29、獲取單元,用于基于所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行ransac迭代計(jì)算,獲取目標(biāo)穩(wěn)像單應(yīng)性矩陣;

30、生成單元,用于基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一原始圖像第進(jìn)行透射變換,生成目標(biāo)穩(wěn)像幀。

31、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述計(jì)算單元,具體用于對(duì)所述待穩(wěn)像視頻進(jìn)行解析,獲取相鄰兩幀視頻幀對(duì)應(yīng)的所述第一原始圖像和所述第二原始圖像;將所述第一原始圖像和所述第二原始圖像的圖像格式轉(zhuǎn)換為灰度圖像,以生成所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像;采用orb特征點(diǎn)提取算法對(duì)所述第一原始圖像和所述第二原始圖像進(jìn)行特征點(diǎn)提取,生成所述第一初始特征點(diǎn)集合和所述第二初始特征點(diǎn)集合。

32、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述計(jì)算單元,具體用于對(duì)所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行特征點(diǎn)匹配,通過(guò)ransac算法進(jìn)行迭代計(jì)算,以獲取所述相鄰兩幀的單幀圖像對(duì)應(yīng)的初始單應(yīng)性矩陣。

33、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述計(jì)算單元,具體用于將所述第一原始圖像和所述第二原始圖像的圖像格式轉(zhuǎn)換為灰度圖像,獲取第一初始灰度圖像和第二初始灰度圖像;基于預(yù)設(shè)縮小系數(shù)將所述第一初始灰度圖像和所述第二初始灰度圖像進(jìn)行縮小處理,以生成所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像。

34、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述計(jì)算單元,還用于基于預(yù)設(shè)放大系數(shù),對(duì)所述初始單應(yīng)性矩陣進(jìn)行放大操作。

35、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述濾波單元,具體用于通過(guò)歷史預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值和目標(biāo)狀態(tài)轉(zhuǎn)移矩陣,獲取所述預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值:根據(jù)所述預(yù)測(cè)單應(yīng)性矩陣的估計(jì)值以及所述初始單應(yīng)性矩陣進(jìn)行校驗(yàn)更新,以獲取所述預(yù)測(cè)單應(yīng)性矩陣。

36、作為本技術(shù)實(shí)施例一種可選的實(shí)施方式,所述生成單元,具體用于將所述第一原始圖像的圖像格式轉(zhuǎn)換為yuv格式,以生成第一yuv圖像;基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一yuv圖像第進(jìn)行透射變換,獲取目標(biāo)穩(wěn)像幀。

37、第三方面,本技術(shù)實(shí)施例提供了一種電子設(shè)備,包括:存儲(chǔ)器和處理器,所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序;所述處理器用于在執(zhí)行計(jì)算機(jī)程序時(shí),使得所述電子設(shè)備實(shí)現(xiàn)上述任一項(xiàng)實(shí)施例所述的基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法。

38、第四方面,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序,當(dāng)所述計(jì)算機(jī)程序被計(jì)算設(shè)備執(zhí)行時(shí),使得所述計(jì)算設(shè)備實(shí)現(xiàn)上述任一項(xiàng)實(shí)施例所述的基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法。

39、本技術(shù)實(shí)施例提供的基于卡爾曼濾波的視頻穩(wěn)像幀獲取方法:根據(jù)第一目標(biāo)灰度圖像和第二目標(biāo)灰度圖像分別對(duì)應(yīng)的第一初始特征點(diǎn)集合和第二初始特征點(diǎn)集合,計(jì)算對(duì)應(yīng)的初始單應(yīng)性矩陣;所述第一目標(biāo)灰度圖像和所述第二目標(biāo)灰度圖像是基于待穩(wěn)像視頻中相鄰兩幀視頻幀對(duì)應(yīng)的第一原始圖像和第二原始圖像得到的;對(duì)所述初始單應(yīng)性矩陣進(jìn)行卡爾曼濾波,獲取預(yù)測(cè)單應(yīng)性矩陣,并結(jié)合標(biāo)準(zhǔn)單位矩陣進(jìn)行加權(quán)計(jì)算,獲取維穩(wěn)單應(yīng)性矩陣;分別采用所述預(yù)測(cè)單應(yīng)性矩陣和所述維穩(wěn)單應(yīng)性矩陣對(duì)所述第一初始特征點(diǎn)集合進(jìn)行幾何變換,獲取第一目標(biāo)特征點(diǎn)集合和第二目標(biāo)特征點(diǎn)集合;基于所述第一目標(biāo)特征點(diǎn)集合和所述第二目標(biāo)特征點(diǎn)集合進(jìn)行ransac迭代計(jì)算,獲取目標(biāo)穩(wěn)像單應(yīng)性矩陣;基于所述目標(biāo)穩(wěn)像單應(yīng)性矩陣對(duì)所述第一原始圖像第進(jìn)行透射變換,生成目標(biāo)穩(wěn)像幀。

40、本技術(shù)通過(guò)卡爾曼濾波對(duì)初始單應(yīng)性矩陣進(jìn)行處理,考慮到視頻幀間運(yùn)動(dòng)的連續(xù)性,進(jìn)而直接預(yù)測(cè)下一幀圖像相對(duì)于當(dāng)前幀圖像的可能運(yùn)動(dòng)變換,得到更準(zhǔn)確的預(yù)測(cè)單應(yīng)性矩陣,為穩(wěn)像處理提供可靠依據(jù),再結(jié)合標(biāo)準(zhǔn)單位矩陣進(jìn)行加權(quán)計(jì)算獲取維穩(wěn)單應(yīng)性矩陣,當(dāng)預(yù)測(cè)存在較大誤差時(shí),標(biāo)準(zhǔn)單位矩陣使維穩(wěn)單應(yīng)性矩陣更接近保持圖像原始狀態(tài),抑制噪聲和誤差影響,讓視頻幀的變換更加平穩(wěn)。相較于傳統(tǒng)卡爾曼濾波直接對(duì)單應(yīng)性變換在連續(xù)幀中產(chǎn)生的畸變進(jìn)行畸變量的分離,再使用分畸變后的主運(yùn)動(dòng)量進(jìn)行濾波來(lái)獲得穩(wěn)像效果,本技術(shù)避免了復(fù)雜的運(yùn)動(dòng)向量分解過(guò)程,降低了算法復(fù)雜度,使得通過(guò)卡爾曼濾波獲取穩(wěn)像幀的效率得到提高。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1