本發(fā)明屬于智能交通領(lǐng)域中的方法研究，涉及一種基于單目視覺與激光雷達(dá)融合的道路可行駛區(qū)域檢測(cè)方法。

背景技術(shù)：

近年以來，道路檢測(cè)一直是無人駕駛領(lǐng)域研究的重要內(nèi)容。目前廣泛采用的道路檢測(cè)方法有：?jiǎn)文恳曈X方法、立體視覺方法、激光雷達(dá)方法和基于融合的方法。其中，單目視覺方法只考慮了場(chǎng)景的視覺信息，極易受光照條件，天氣狀況影響；立體視覺的方法在三維重建上時(shí)間耗費(fèi)巨大，不適用于實(shí)際運(yùn)用；激光雷達(dá)的方法存在點(diǎn)云數(shù)據(jù)稀疏的缺點(diǎn)?；谙袼匦畔⒑蜕疃刃畔⑷诤系牡缆窓z測(cè)方法既充分利用了來自照相機(jī)提供的關(guān)于場(chǎng)景的紋理、顏色等信息，又結(jié)合激光雷達(dá)的深度信息彌補(bǔ)視覺信息對(duì)環(huán)境不魯棒的缺點(diǎn)，在算法效率上克服了非融合方法效率低，難以進(jìn)行實(shí)時(shí)運(yùn)算，難以實(shí)際運(yùn)用的問題，故基于融合的道路檢測(cè)方法迅速發(fā)展起來為無人車道路檢測(cè)的首選。基于融合的道路檢測(cè)方法是在單目視覺,激光雷達(dá)方法，傳感器融合等基礎(chǔ)上發(fā)展起來的一種最佳的道路檢測(cè)。從而在工程實(shí)際中,尤其在無人車駕駛中得到了廣泛的應(yīng)用。

無人車道路檢測(cè)還分為有監(jiān)督方法與無監(jiān)督方法。由于路面信息的多樣性、場(chǎng)景信息的復(fù)雜性和光照天氣條件的多變性，無人車對(duì)于道路檢測(cè)方法的魯棒性和泛化性能要求很高。故無監(jiān)督的無人車道路檢測(cè)方法也是無人駕駛領(lǐng)域研究的重要內(nèi)容。一方面，無監(jiān)督的道路檢測(cè)方法不需要大量的標(biāo)記數(shù)據(jù)和費(fèi)時(shí)的訓(xùn)練過程，能夠根據(jù)提取的特征自主地學(xué)習(xí)出道路信息，是一種高泛化能力的方法。另一方面，現(xiàn)實(shí)世界的交通場(chǎng)景復(fù)雜多變，在不可能為無人駕駛提供所有場(chǎng)景的訓(xùn)練樣本的情況下，有監(jiān)督的方法在遇到與訓(xùn)練樣本的場(chǎng)景相差較大的駕駛場(chǎng)景時(shí)危險(xiǎn)性極大，而無監(jiān)督的道路檢測(cè)方法對(duì)幾乎所有場(chǎng)景魯棒，適用于無人駕駛的實(shí)際應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于單目視覺與激光雷達(dá)融合的道路可行駛區(qū)域檢測(cè)方法。

為達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案。

首先，該融合的方法使用超像素與激光點(diǎn)云數(shù)據(jù)的融合，將點(diǎn)云數(shù)據(jù)按照激光參數(shù)標(biāo)定投影到超像素分割后的圖片上，超像素方法充分利用了場(chǎng)景的紋理特征，極大地縮小定位道路區(qū)域的范圍，大大提升了算法效率；其次，運(yùn)用三角剖分尋找點(diǎn)的空間關(guān)系，根據(jù)得出的空間關(guān)系三角形建立無向圖和并計(jì)算每一點(diǎn)的法向量，根據(jù)無向圖分類障礙點(diǎn)；然后，本方法采用基于最小濾波的方法定義新的特征(ray)，并找到道路區(qū)域的初始備選區(qū)域，進(jìn)一步縮小道路區(qū)域的檢測(cè)范圍，極大提升算法效率；通過定義新的特征(level)從深度信息方面數(shù)值化各點(diǎn)的可行駛程度，有效地利用了深度信息。另外，融合方法還利用一種無監(jiān)督的融合方法，即基于自學(xué)習(xí)的貝葉斯框架，融合各個(gè)特征(顏色特征，level特征，法向量特征，強(qiáng)度特征)學(xué)習(xí)到的備選道路區(qū)域的概率信息，這種算法效率高，魯棒性能強(qiáng)。

所述超像素與激光點(diǎn)云數(shù)據(jù)融合具體步驟如下：

利用已有的結(jié)合邊緣分割的改進(jìn)的線性迭代聚類的方法對(duì)相機(jī)采集的圖片進(jìn)行超像素分割，將圖片分割為n個(gè)超像素，每個(gè)超像素pc＝(xc,yc,zc,1)^t包含若干個(gè)像素點(diǎn)，其中xc,yc,zc表示該超像素內(nèi)所有像素點(diǎn)的相機(jī)坐標(biāo)系下的位置信息的平均值，同時(shí)，這些像素點(diǎn)的rgb均統(tǒng)一為該超像素內(nèi)所有像素點(diǎn)的平均rgb。再利用已有的標(biāo)定技術(shù)將激光雷達(dá)獲得的每一點(diǎn)pl＝(xl,yl,zl,1^t)投影到超像素分割后的圖片上，最終得到點(diǎn)集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示該點(diǎn)的激光坐標(biāo)系下的位置信息的，(ui,vi)表示該點(diǎn)對(duì)應(yīng)的相機(jī)坐標(biāo)系下的位置信息。最后通過共點(diǎn)約束，只保留被投影在超像素邊緣附近的激光點(diǎn)。

基于最小濾波的方法定義新的特征(ray)找到道路區(qū)域的初始備選區(qū)域；具體步驟如下：

首先，定義該道路區(qū)域的初始備選區(qū)域?yàn)?imgfile="bda0001280137990000031.gif"wi="533"he="71"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>其中，si代表是超像素si所包含的所有像素點(diǎn)的集合，定義idrm為”directionraymap”，并點(diǎn)集將pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐標(biāo)轉(zhuǎn)化到以圖片最后一行的中心點(diǎn)(pbase)為原點(diǎn)的極坐標(biāo)下，則有是點(diǎn)集(ui,vi)的真子集，其中表示第i個(gè)點(diǎn)屬于第h角度，表示的是中的障礙點(diǎn)的集合，計(jì)算方法見后文及流程圖。

其次，為解決激光射線泄露的問題，采用最小濾波的方法處理得到的idrm得到期望的idrm，最終得到

定義新的特征(level)；具體步驟如下：

定義每一點(diǎn)的level特征為算法見流程圖，并與超像素結(jié)合得到超像素si的level特征l(si)：

所述采用自學(xué)習(xí)的貝葉斯框架來融合的具體步驟如下：

首先，結(jié)合初始備選區(qū)域?yàn)?imgfile="bda00012801379900000313.gif"wi="66"he="63"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>分別利用者4種特征無監(jiān)督學(xué)習(xí)地備選區(qū)域的概率。

對(duì)于初始備選區(qū)域?yàn)?imgfile="bda00012801379900000314.gif"wi="65"he="61"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>中的超像素點(diǎn)si，si包含的每一個(gè)像素點(diǎn)pi＝(xi,yi,zi,ui,vi)的rgb值已經(jīng)統(tǒng)一了，利用高斯參數(shù)μc和自學(xué)習(xí)顏色特征，公式如下：

θ＝45°

利用高斯參數(shù)μl和自學(xué)習(xí)超像素si的level特征l(si)的公式為：

利用高斯參數(shù)μn和自學(xué)習(xí)超像素si的法向量特征n(si)的公式為：

定義sg(si)為穿過超像素si的ray的數(shù)量，自學(xué)習(xí)超像素si的強(qiáng)度特征sg(si)的公式為：

最后，建立貝葉斯框架融合4種特征，公式如下：

其中，p(si＝r|obs)表示超像素si屬于道路區(qū)域的概率，obs表示基于這4種特征的觀測(cè)。

本發(fā)明的有益效果體現(xiàn)在：

其一，由于傳統(tǒng)的融合方法采用全局融合，這大大限制了這些算法的實(shí)用性和計(jì)算效率。本發(fā)明提出使用超像素與激光點(diǎn)云數(shù)據(jù)的融合。該方法極大縮小了道路區(qū)域的備選范圍，極大提升了算法效率。其二，因此，本發(fā)明提出的新的特征(ray)找到道路區(qū)域的初始備選區(qū)域，進(jìn)一步縮小道路區(qū)域的檢測(cè)范圍，極大提升算法效率。其三，本發(fā)明提出的level特征從深度信息方面數(shù)值化各點(diǎn)的可行駛程度，克服了深度信息的稀疏問題，有效地利用了深度信息，對(duì)算法精度貢獻(xiàn)極大。其四，本發(fā)明提出的利用強(qiáng)度特征量化超像素與深度信息的融合關(guān)系，充分考慮了視覺信息近大遠(yuǎn)小的問題，對(duì)算法精度貢獻(xiàn)極大。故算法具有較為重要的研究意義和廣泛的工程應(yīng)用價(jià)值。其五，自學(xué)習(xí)的貝葉斯框架，融合各個(gè)特征學(xué)習(xí)到的備選道路區(qū)域的概率信息，這種算法效率高，魯棒性能強(qiáng)

附圖說明

圖1是基于單目視覺與激光雷達(dá)融合的道路可行駛區(qū)域檢測(cè)方法原理框圖；

圖2是得到ray特征的算法流程圖；

圖3是由未利用最小濾波處理ray泄露(下)與使用后(上)的初始備選區(qū)域效果圖；

圖4是得到level特征的算法流程圖；

圖5是由顏色特征自學(xué)習(xí)得到的備選道路區(qū)域概率分布效果圖；

圖6是由level特征自學(xué)習(xí)得到的備選道路區(qū)域概率分布效果圖；

圖7是由法向量特征自學(xué)習(xí)得到的備選道路區(qū)域概率分布效果圖；

圖8是由強(qiáng)度特征自學(xué)習(xí)得到的備選道路區(qū)域概率分布效果圖；

圖9是自學(xué)習(xí)的貝葉斯框架的融合得到的最終區(qū)域的概率分布圖；

具體實(shí)施方式

參照?qǐng)D1所示，利用已有的結(jié)合邊緣分割的改進(jìn)的線性迭代聚類的方法對(duì)相機(jī)采集的圖片進(jìn)行超像素分割，將圖片分割為n個(gè)超像素，每個(gè)超像素pc＝(xc,yc,zc,1)^t包含若干個(gè)像素點(diǎn)，其中xc,yc,zc表示該超像素內(nèi)所有像素點(diǎn)的相機(jī)坐標(biāo)系下的位置信息的平均值，同時(shí)，這些像素點(diǎn)的rgb均統(tǒng)一為該超像素內(nèi)所有像素點(diǎn)的平均rgb。再利用已有的標(biāo)定技術(shù)和旋轉(zhuǎn)矩陣和轉(zhuǎn)化矩陣按照公式(1)得到轉(zhuǎn)化矩陣

利用旋轉(zhuǎn)矩陣和建立2個(gè)坐標(biāo)系的轉(zhuǎn)化關(guān)系，如公式(2)：

將激光雷達(dá)獲得的每一點(diǎn)pl＝(xl,yl,zl,1)^t投影到超像素分割后的圖片上，如公式(3)：

得到點(diǎn)集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示該點(diǎn)的激光坐標(biāo)系下的位置信息的，(ui,vi)表示該點(diǎn)對(duì)應(yīng)的相機(jī)坐標(biāo)系下的位置信息。最后，只保留超像素邊緣附近的激光點(diǎn)。

利用數(shù)據(jù)融合分類障礙點(diǎn)，得到映射關(guān)系ob(pi)，ob(pi)＝1表示pi為障礙點(diǎn)，反之為0。對(duì)于pi的坐標(biāo)系(ui,vi)運(yùn)用三角剖分(delaunaytriangulation)，得到眾多空間三角形和生成無向圖e表示圖中與節(jié)點(diǎn)pi存在關(guān)聯(lián)關(guān)系的邊緣的集合。剔除坐標(biāo)系(ui,vi)下歐式距離不滿足公式(4)的邊緣(pi,pj)：

||pi-pj||＜ε…………………………………………………………………(4)

定義為與pi連接的點(diǎn)的集合為nb(pi)，則與有關(guān)的空間三角形的表面即為{(uj,vj)|j＝iorpj∈nb(pi)}。計(jì)算各個(gè)空間三角形的法向量，顯然，當(dāng)pi周圍的空間三角形越平坦接近地面，pi成為非障礙點(diǎn)的可能性越大，我們?nèi)i周圍的空間三角形的法向量的平均值作為pi的法向量公式(5)表示ob(pi)的判斷方法：

基于最小濾波的方法定義ray特征并找到道路區(qū)域的初始備選區(qū)域首先，根據(jù)如圖2所示的算法流程圖得到”directionraymap”--idrm，其中，表示根據(jù)上一步障礙點(diǎn)分類方法計(jì)算的中的障礙點(diǎn)的集合，表示pi屬于第h角度。算法將pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐標(biāo)轉(zhuǎn)化到以圖片最后一行的中心點(diǎn)(pbase)為原點(diǎn)的極坐標(biāo)下，則有是點(diǎn)集(ui,vi)的真子集。其次，如圖3所示，由于激光數(shù)據(jù)的稀疏性，需要處理ray泄露的問題，本方法創(chuàng)新地采用最小濾波的方法處理得到的idrm得到期望的idrm。結(jié)合超像素分割，定義該道路區(qū)域的初始備選區(qū)域?yàn)?imgfile="bda0001280137990000079.gif"wi="571"he="71"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>其中，si代表是超像素si所包含的所有像素點(diǎn)的集合，最終融合超像素得到

定義level特征，圖4給出計(jì)算屬于第h角度的每一點(diǎn)的level特征公式(6)表示，與超像素結(jié)合得到超像素si的level特征l(si)：

如圖5，利用顏色特征得到的備選道路區(qū)域的可行駛度概率信息。對(duì)于初始備選區(qū)域中的超像素點(diǎn)si，si包含的每一個(gè)像素點(diǎn)pi＝(xi,yi,zi,ui,vi)的rgb值已經(jīng)統(tǒng)一了，由于rgb顏色對(duì)光照條件和天氣狀況不魯棒，故利用顏色空間轉(zhuǎn)換方法，將處于rbg空間的原始圖像i轉(zhuǎn)化為illuminant-invariant顏色空間下的圖像ilog，如公式(7)：

其中ilog(u,v)是在ilog坐標(biāo)系(u,v)下的像素值，ir,ig,ib表示i的rgb值，θ表示正交于光照變化線的不變角度。公式(8)利用高斯參數(shù)μc和自學(xué)習(xí)顏色特征以得到備選道路區(qū)域的可行駛度概率信息：

如圖6，利用level特征得到的備選道路區(qū)域的可行駛度概率信息。公式(9)利用高斯參數(shù)μl和自學(xué)習(xí)超像素si的level特征l(si)：

如圖7，利用法向量特征得到的備選道路區(qū)域的可行駛度概率信息。計(jì)算中的超像素si的法向量特征n(si)，即si中的法向量最低的點(diǎn)的高度坐標(biāo)值如公式(10)：

公式(11)利用高斯參數(shù)μn和自學(xué)習(xí)超像素si的法向量特征n(si)：

如圖8，利用強(qiáng)度特征得到的備選道路區(qū)域的可行駛度概率信息。sg(si)為穿過超像素si的ray的數(shù)量，自學(xué)習(xí)超像素si的強(qiáng)度特征sg(si)如公式(12)：

最后，如圖9，建立貝葉斯框架融合4種特征得到自學(xué)習(xí)的貝葉斯框架的融合得到的最終區(qū)域的概率分布圖，如公式(13)：

其中，p(si＝r|obs)表示超像素si屬于道路區(qū)域的概率，obs表示基于這4種特征的觀測(cè)，從圖9可以看出本方法很好地完成了道路檢測(cè)任務(wù)。

為了證明本方法的優(yōu)勢(shì)，我們?cè)趓oad-kittibenchmark上利用3中不同環(huán)境的數(shù)據(jù)集，標(biāo)記的城市環(huán)境(urbanmarked，um)，多標(biāo)記的城市環(huán)境(urbanmultiplemarked，umm)和未標(biāo)記的城市環(huán)境(urbanunmarked，uu)測(cè)試本方法，從最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假陽性率(falsepositiverate，fpr)，和假陰性率(falsenegativerate，fnr)這六個(gè)指標(biāo)進(jìn)行分析。分析的同時(shí)，進(jìn)行對(duì)比實(shí)驗(yàn)，與目前已公布的在road-kittibenchmark數(shù)據(jù)集上利用激光取得了最好效果的方法mixedcrf和融合方法res3d-velo對(duì)比，對(duì)比結(jié)果見表1--4。

表1是本方法(ourstest)，mixedcrf，res3d-velo在um數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果：

表1在um數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果

表2是本方法(ourstest)，mixedcrf，res3d-velo在umm數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果：

表2在umm數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果

表3是本方法(ourstest)，mixedcrf，res3d-velo在uu數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果：

表3在uu數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果.

表4是本方法(ourstest)，mixedcrf，res3d-velo在urban(即um，umm，uu整體考慮)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果的平均值的對(duì)比結(jié)果：

表4在urban數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)結(jié)果.

mixedcrf是需要訓(xùn)練的方法，本方法在不需要任何訓(xùn)練的條件下得到了相似的精度，并且在ap這一項(xiàng)指標(biāo)上取得了最高的精度，說明了本方法的優(yōu)越性。

為了表明本方法所采用的自學(xué)習(xí)貝葉斯框架融合的優(yōu)越性，在road-kittibenchmark上利用3中不同環(huán)境的數(shù)據(jù)集，標(biāo)記的城市環(huán)境(urbanmarked，um)，多標(biāo)記的城市環(huán)境(urbanmultiplemarked，umm)和未標(biāo)記的城市環(huán)境(urbanunmarked，uu)測(cè)試本方法，從最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假陽性率(falsepositiverate，fpr)，和假陰性率(falsenegativerate，fnr)這六個(gè)指標(biāo)，分析單一采用ray特征得到的初始備選區(qū)域(initial)，顏色特征(color)，強(qiáng)度特征(strength)，level特征和法向量特征(normal)的精度，與貝葉斯框架融合(fusion)精度對(duì)比，對(duì)比結(jié)果見表5--8。

表5是單一采用ray特征得到的初始備選區(qū)域(initial)、顏色特征(color)，強(qiáng)度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在um數(shù)據(jù)集上的對(duì)比結(jié)果：

表5comparisononumtrainingset(bev).

表6是單一采用ray特征得到的初始備選區(qū)域(initial)、顏色特征(color)，強(qiáng)度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在umm數(shù)據(jù)集上的對(duì)比結(jié)果：

表6comparisononummtrainingset(bev).

表7是單一采用ray特征得到的初始備選區(qū)域(initial)、顏色特征(color)，強(qiáng)度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在uu數(shù)據(jù)集上的對(duì)比結(jié)果：

表7comparisononuutrainingset(bev).

表8是單一采用ray特征得到的初始備選區(qū)域(initial)、顏色特征(color)，強(qiáng)度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在um，umm，uu數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果的平均值的對(duì)比結(jié)果：

表8comparisononurbantrainingset(bev).

由表4和表8可知，基于單目視覺與激光雷達(dá)融合的道路可行駛區(qū)域檢測(cè)方法取得了當(dāng)前的最高精度ap，ap也是衡量檢測(cè)方法的最重要指標(biāo)，在其他指標(biāo)上也取得了良好優(yōu)勢(shì)，故本方法適用于實(shí)際應(yīng)用。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施方式僅限于此，對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單的推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明由所提交的權(quán)利要求書確定專利保護(hù)范圍。