本發(fā)明涉及一種圖像處理方法及設(shè)備，具體涉及一種圖像運(yùn)動(dòng)估計(jì)方法及設(shè)備。
背景技術(shù)：
1、數(shù)字圖像采集是利用攝像頭等傳感器將光信號(hào)轉(zhuǎn)化成電信號(hào)并用數(shù)字形式進(jìn)行存儲(chǔ)、傳輸和顯示。數(shù)字圖像處理是將采集的數(shù)字圖像針對(duì)使用目的和場(chǎng)景進(jìn)行處理優(yōu)化，其中常見的方法包括：圖像增強(qiáng)和復(fù)原、圖像編碼壓縮、圖像描述等。
2、運(yùn)動(dòng)估計(jì)是廣泛應(yīng)用于視頻編碼和計(jì)算機(jī)視覺領(lǐng)域的一種數(shù)字圖像處理方法。其核心思想是通過(guò)分析連續(xù)幀之間的圖像信息，確定圖像序列中像素或圖像塊的運(yùn)動(dòng)軌跡，從而預(yù)測(cè)下一幀圖像，達(dá)到壓縮數(shù)據(jù)量或追蹤目標(biāo)的目的。運(yùn)動(dòng)估計(jì)利用視頻幀間相關(guān)性減少冗余信息，能夠提高編碼效率、節(jié)省存儲(chǔ)和傳輸空間，在視頻壓縮、目標(biāo)跟蹤、三維重建等領(lǐng)域發(fā)揮著至關(guān)重要的作用。
3、運(yùn)動(dòng)估計(jì)常采用塊匹配算法，將視頻幀劃分為許多互不重疊的塊，然后在參考幀的搜索范圍內(nèi)，根據(jù)一定的塊匹配準(zhǔn)則找出當(dāng)前塊最相似的的匹配塊，匹配塊與當(dāng)前塊的相對(duì)位移即為運(yùn)動(dòng)矢量。
4、運(yùn)動(dòng)估計(jì)的主要任務(wù)是在歷史參考幀中找到一個(gè)最優(yōu)的匹配塊，通常在時(shí)間上相鄰的前后兩幀之間物體運(yùn)動(dòng)的位移量不會(huì)很大，因此可以在當(dāng)前塊位置出發(fā)，在歷史幀中相同位置的塊周圍的小區(qū)域內(nèi)進(jìn)行搜索。
5、隨著智能汽車產(chǎn)業(yè)的發(fā)展，車載影像在人車交互和輔助駕駛方面將發(fā)揮越來(lái)越重要的作用。車載影像是指車載攝像頭在駕駛過(guò)程中采集到的多幀視頻影像，包括倒車影像、行車記錄影像、360度影像等。運(yùn)動(dòng)估計(jì)作為車載影像的視頻處理和存儲(chǔ)過(guò)程中的重要步驟，對(duì)于提高影像的后續(xù)處理效果、降低運(yùn)算的資源消耗有很大價(jià)值。
6、駕駛過(guò)程中，在很多場(chǎng)景下車輛運(yùn)行速度非常快，即車載影像中，在時(shí)間上相鄰的前后兩幀之間物體運(yùn)動(dòng)的位移量可能存在較大變化，采用塊匹配算法的運(yùn)動(dòng)估計(jì)過(guò)程中，當(dāng)前塊最相似的的匹配塊常常超出塊匹配算法的一般搜索范圍，從而導(dǎo)致無(wú)法準(zhǔn)確實(shí)現(xiàn)塊匹配或需要消耗額外的計(jì)算資源來(lái)擴(kuò)大塊匹配的搜索范圍。
7、考慮到汽車在很多場(chǎng)景下均為高速直線行駛，針對(duì)這一場(chǎng)景的運(yùn)動(dòng)估計(jì)方法優(yōu)化可以提高塊匹配的準(zhǔn)確率，從而降低匹配算法的資源消耗，以提高在車載影像壓縮、降噪等方面的表現(xiàn)。所以提出一種適合高速直線行駛場(chǎng)景的運(yùn)動(dòng)估計(jì)方法具有實(shí)際價(jià)值。
技術(shù)實(shí)現(xiàn)思路
1、發(fā)明目的：針對(duì)上述現(xiàn)有技術(shù)，提出一種適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法及設(shè)備，實(shí)現(xiàn)準(zhǔn)確的運(yùn)動(dòng)估計(jì)效果，并具有硬件資源消耗低的特點(diǎn)。
2、技術(shù)方案：一種適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，包括：
3、步驟1：根據(jù)先驗(yàn)參數(shù)進(jìn)行運(yùn)動(dòng)估計(jì)，包括：
4、對(duì)于相鄰兩幀圖像，前一幀為參考幀，后一幀為匹配幀；首先，對(duì)于匹配幀中的任意圖像塊，計(jì)算該圖像塊位于參考幀的匹配中心的坐標(biāo)估計(jì)值(xc,yc)，xc=x+k(x-x0)，yc=y+k(y-y0)；其中，(x,y)為該圖像塊的中心點(diǎn)坐標(biāo)，(x0,y0)為匹配幀圖像的中心點(diǎn)坐標(biāo)，k為比例系數(shù)，k=qv，q為與圖像采集設(shè)備相關(guān)的常數(shù)，v為車載攝像頭拍攝該匹配幀時(shí)的行駛速度；然后，在以(xc,yc)為中心的匹配范圍內(nèi)進(jìn)行塊匹配計(jì)算，得到該圖像塊的匹配目標(biāo)以及對(duì)應(yīng)的位移向量；
5、步驟2：修正中心點(diǎn)坐標(biāo)以及系數(shù)k，包括：
6、首先，對(duì)于任意匹配成功的圖像塊p(x,y)，計(jì)算該圖像塊與設(shè)定的周圍范圍內(nèi)同樣匹配成功的其他圖像塊的移向量的差異度r；然后，將匹配幀中經(jīng)步驟1匹配成功且差異度r小于預(yù)設(shè)閾值θ的各圖像塊的中心點(diǎn)坐標(biāo)及位移向量(x,y,v1(x,y),v2(x,y))組成集合i，其中v1(x,y)和v2(x,y)分別為位移向量的橫坐標(biāo)和縱坐標(biāo)，修正后的中心點(diǎn)的坐標(biāo)(x01,y01)為集合i中所有點(diǎn)中，到圖像塊中心與對(duì)應(yīng)位移向量所確定的直線的距離的平方和最小的點(diǎn)的坐標(biāo)；最后，根據(jù)修正后的中心點(diǎn)坐標(biāo)(x01,y01)，將集合i中各圖像塊對(duì)應(yīng)的位移向量與圖像塊到修正后的中心點(diǎn)距離的比值的均值，作為修正后的系數(shù)k；
7、步驟3：對(duì)當(dāng)前匹配幀的下一幀進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)，則將步驟2得到的修正后的中心點(diǎn)坐標(biāo)和修正后的系數(shù)k作為先驗(yàn)參數(shù)，重新執(zhí)行步驟1來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)，并通過(guò)執(zhí)行步驟2對(duì)中心點(diǎn)坐標(biāo)和系數(shù)k進(jìn)行迭代修正，通過(guò)不斷迭代完成每一幀的運(yùn)動(dòng)估計(jì)。
8、進(jìn)一步的，所述步驟2中，計(jì)算差異度r時(shí)，對(duì)于匹配成功的圖像塊p(x,y)，取以圖像塊p(x,y)為中心的k*k矩陣形式排列的若干圖像塊，將其中匹配成功的各圖像塊組成集合j，j的元素個(gè)數(shù)為n，則差異度r的具體計(jì)算公式為：
9、；其中，v1(xi,yj)和v2(xi,yj)分別為k*k矩陣中第i行j列的圖像塊p(xi,yj)的位移向量的橫坐標(biāo)和縱坐標(biāo)。
10、進(jìn)一步的，所述步驟2中，用于求取所述修正后的中心點(diǎn)的坐標(biāo)的目標(biāo)函數(shù)為：
11、；采用基于數(shù)學(xué)推導(dǎo)的方法或基于應(yīng)用實(shí)例的枚舉法對(duì)該目標(biāo)函數(shù)求解得到的坐標(biāo)即為修正后的中心點(diǎn)的坐標(biāo)。
12、進(jìn)一步的，采用下式計(jì)算修正系數(shù)：
13、；其中，c為符號(hào)判斷參數(shù)。
14、進(jìn)一步的，所述基于應(yīng)用實(shí)例的枚舉法包括：在以當(dāng)前匹配幀上一幀修正后的中心點(diǎn)(x’0,y’0)周邊的設(shè)定范圍內(nèi)進(jìn)行搜索，將所述定范圍內(nèi)各點(diǎn)的坐標(biāo)分別代入所述目標(biāo)函數(shù)中，目標(biāo)函數(shù)取值最小的坐標(biāo)即為當(dāng)前匹配幀修正后的中心點(diǎn)坐標(biāo)(x01,y01)。
15、進(jìn)一步的，所述設(shè)定范圍的大小為(x’0+i,y’0+j)，-d≤i≤d，-d≤j≤d，范圍值d取5~10。
16、一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法。
17、有益效果：本發(fā)明方法針對(duì)車載影像獨(dú)特的使用場(chǎng)景和高速行駛場(chǎng)景下運(yùn)動(dòng)估計(jì)的需求，考慮到直線行駛下相鄰幀匹配塊之間的位置關(guān)系，采用運(yùn)動(dòng)模型和迭代法相結(jié)合的總體思路，實(shí)現(xiàn)準(zhǔn)確的運(yùn)動(dòng)估計(jì)效果。本方法計(jì)算的硬件資源消耗小，易于實(shí)現(xiàn)，便于低成本實(shí)現(xiàn)。
18、具體的，本方法首先通過(guò)運(yùn)動(dòng)模型確定基礎(chǔ)位置關(guān)系。對(duì)于直線行駛的場(chǎng)景，相鄰幀之間的關(guān)系可以簡(jiǎn)化為一個(gè)基本穩(wěn)定的中心點(diǎn)以及距離該中心點(diǎn)越遠(yuǎn)則位移越大的其他點(diǎn)，在此基本的位置關(guān)系基礎(chǔ)上進(jìn)行塊匹配的搜索，可以大幅提高準(zhǔn)確率并降低計(jì)算資源消耗。
19、其次，利用汽車速度計(jì)算先驗(yàn)參數(shù)。相鄰幀之間的位移與汽車的行駛速度強(qiáng)相關(guān)，通過(guò)基于行駛速度確定先驗(yàn)的位移參數(shù)，可以加快后續(xù)迭代過(guò)程中的收斂速度。
20、最后，通過(guò)迭代計(jì)算實(shí)際參數(shù)，用于運(yùn)動(dòng)估計(jì)。由于實(shí)際環(huán)境的復(fù)雜性，僅通過(guò)運(yùn)動(dòng)模型和速度估算得到的位移數(shù)據(jù)會(huì)有一定偏差，通過(guò)迭代的方法進(jìn)行不斷修正直至收斂，可以得到更為準(zhǔn)確的結(jié)果。
1.一種適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟2中，計(jì)算差異度r時(shí)，對(duì)于匹配成功的圖像塊p(x,y)，取以圖像塊p(x,y)為中心的k*k矩陣形式排列的若干圖像塊，將其中匹配成功的各圖像塊組成集合j，j的元素個(gè)數(shù)為n，則差異度r的具體計(jì)算公式為：
3.根據(jù)權(quán)利要求2所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟2中，用于求取所述修正后的中心點(diǎn)的坐標(biāo)的目標(biāo)函數(shù)為：
4.根據(jù)權(quán)利要求1-3任一所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，采用下式計(jì)算修正系數(shù)：
5.根據(jù)權(quán)利要求3所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述基于應(yīng)用實(shí)例的枚舉法包括：在以當(dāng)前匹配幀上一幀修正后的中心點(diǎn)(x’0,y’0)周邊的設(shè)定范圍內(nèi)進(jìn)行搜索，將所述定范圍內(nèi)各點(diǎn)的坐標(biāo)分別代入所述目標(biāo)函數(shù)中，目標(biāo)函數(shù)取值最小的坐標(biāo)即為當(dāng)前匹配幀修正后的中心點(diǎn)坐標(biāo)(x01,y01)。
6.根據(jù)權(quán)利要求5所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法，其特征在于，所述設(shè)定范圍的大小為(x’0+i,y’0+j)，-d≤i≤d，-d≤j≤d，范圍值d取5~10。
7.一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1-6任一所述的適用于直線行駛的車載影像的運(yùn)動(dòng)估計(jì)方法。