本發(fā)明涉及智能交通，具體涉及混合交通環(huán)境下的交叉口強(qiáng)化學(xué)習(xí)控制方法、設(shè)備及介質(zhì)。

背景技術(shù)：

1、汽車(chē)數(shù)量的快速增長(zhǎng)導(dǎo)致城市路網(wǎng)建設(shè)滯后，交通擁堵問(wèn)題日益嚴(yán)重，交通擁堵帶來(lái)的經(jīng)濟(jì)損失占城市居民可支配收入的20％，已成為制約城市發(fā)展的關(guān)鍵問(wèn)題之一。道路交叉口作為城市交通的核心樞紐和交通瓶頸區(qū)域，車(chē)輛在此轉(zhuǎn)向時(shí)交通需求高于相連道路，不同方向的車(chē)輛可能發(fā)生沖突，降低通行能力，進(jìn)一步加劇擁堵。因此，優(yōu)化交叉口交通管理、提高通行能力，對(duì)緩解交通擁堵至關(guān)重要。

2、目前，交叉口主要采用固定周期的交通信號(hào)燈控制，但車(chē)流量動(dòng)態(tài)變化，可能導(dǎo)致實(shí)際流量與預(yù)期不符。為解決這一問(wèn)題，智能交通信號(hào)燈控制策略應(yīng)運(yùn)而生，通過(guò)實(shí)時(shí)交通流信息動(dòng)態(tài)調(diào)節(jié)信號(hào)燈狀態(tài)，提高通行效率。

3、此外，純聯(lián)網(wǎng)自動(dòng)駕駛汽車(chē)(cav)環(huán)境下，無(wú)信號(hào)交叉口控制策略借助車(chē)聯(lián)網(wǎng)(v2x)技術(shù)實(shí)現(xiàn)車(chē)輛協(xié)調(diào)，顯著提升交通效率。近年來(lái)，自動(dòng)駕駛技術(shù)發(fā)展迅速，如百度“蘿卜快跑”在多地開(kāi)展測(cè)試，全國(guó)也建立了多個(gè)智能網(wǎng)聯(lián)測(cè)試示范區(qū)和試點(diǎn)城市，為無(wú)信號(hào)交叉口控制策略的實(shí)現(xiàn)提供了支撐。

4、然而，未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，人為駕駛車(chē)輛(hv)和cav將共存于混合交通環(huán)境中。無(wú)信號(hào)交叉口控制策略雖能提升效率，但因缺乏信號(hào)燈引導(dǎo)，hv行為難以預(yù)測(cè)，安全性難以保障。

5、因此，大多數(shù)研究仍依賴信號(hào)燈管理cav與hv。常規(guī)方法是讓cav與hv共享車(chē)道，通過(guò)調(diào)節(jié)cav軌跡和信號(hào)燈狀態(tài)提升效率，但這種方法無(wú)法充分發(fā)揮cav潛力，也難以克服hv的不確定性風(fēng)險(xiǎn)。基于cav專用車(chē)道的控制策略通過(guò)物理隔離cav與hv，減少交互沖突，使cav更高效運(yùn)行，優(yōu)化交叉口通行效率。

6、現(xiàn)有cav專用車(chē)道的研究多集中在靜態(tài)車(chē)道分配，但在不同交通流量和cav滲透率下，可能會(huì)導(dǎo)致車(chē)道資源浪費(fèi)或擁堵加劇。部分學(xué)者已展開(kāi)動(dòng)態(tài)專用車(chē)道控制的研究。例如，有研究提出左轉(zhuǎn)和直行的cav在各自階段使用獨(dú)立專用車(chē)道，但這種分離式設(shè)計(jì)需要更多車(chē)道基礎(chǔ)設(shè)施，且當(dāng)來(lái)車(chē)比例不均衡時(shí)，某些車(chē)道利用率不足，造成資源浪費(fèi)。另一些研究則提出左轉(zhuǎn)和直行共享cav專用車(chē)道的動(dòng)態(tài)分配方式，但這種方式在交通流量波動(dòng)較大時(shí)，車(chē)道功能切換頻繁，可能降低整體通行效率。

7、另外，隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)開(kāi)始應(yīng)用于智能交通系統(tǒng)，深度強(qiáng)化學(xué)習(xí)(drl)作為最接近人類(lèi)大腦的學(xué)習(xí)系統(tǒng)，可以高效解決復(fù)雜的決策問(wèn)題。但其在混合交通環(huán)境中的應(yīng)用仍較少，多數(shù)研究依賴基于優(yōu)化的算法。這些傳統(tǒng)方法在理論上具有優(yōu)勢(shì)，但需要大量計(jì)算資源求解全局最優(yōu)解，可能導(dǎo)致計(jì)算延遲，無(wú)法及時(shí)響應(yīng)交通狀況變化，在實(shí)際應(yīng)用中，隨著交通流量增加和環(huán)境復(fù)雜性提升，難以保障實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)思路

1、基于上述背景技術(shù)所提出的問(wèn)題，本發(fā)明的目的在于提供混合交通環(huán)境下的交叉口強(qiáng)化學(xué)習(xí)控制方法、設(shè)備及介質(zhì)，通過(guò)引入cav專用相位和自由車(chē)道方向的cav專用車(chē)道，降低cav與hv之間的沖突，根據(jù)當(dāng)前的cav滲透率動(dòng)態(tài)調(diào)整cav專用車(chē)道的模式，然后根據(jù)當(dāng)前車(chē)流的情況動(dòng)態(tài)調(diào)整信號(hào)燈的狀態(tài)，并依據(jù)混合交通環(huán)境下的交叉口和深度強(qiáng)化學(xué)習(xí)框架之間的交互更新訓(xùn)練生成控制方法，從而解決混合交通環(huán)境下的交叉口協(xié)調(diào)問(wèn)題。

2、本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

3、本發(fā)明第一方面提供了混合交通環(huán)境下的交叉口強(qiáng)化學(xué)習(xí)控制方法，包括如下步驟：

4、將混合交通環(huán)境下的交叉口設(shè)置為環(huán)境；其中，所述環(huán)境包括車(chē)道，將所述車(chē)道劃分為普通車(chē)道和cav專用車(chē)道；

5、構(gòu)建第一智能體、第二智能體和第三智能體；

6、所述第一智能體通過(guò)感知所述環(huán)境的狀態(tài)，并執(zhí)行ε-貪婪策略選擇cav專用車(chē)道模式；

7、所述第二智能體通過(guò)感知受所述cav專用車(chē)道模式影響下所述環(huán)境的狀態(tài)，并執(zhí)行ε-貪婪策略選擇相位；

8、所述第三智能體通過(guò)感知在所述相位下所述環(huán)境的狀態(tài)，并執(zhí)行ε-貪婪策略分配所述cav專用車(chē)道上車(chē)輛的通行權(quán)。

9、在上述技術(shù)方案中，將混合交通環(huán)境下的交叉口設(shè)置為環(huán)境，在面向cav與hv混合交通環(huán)境下，本方法將車(chē)道劃分為普通車(chē)道和cav專用車(chē)道，通過(guò)引入cav專用車(chē)道來(lái)隔離cav和hv的相互影響；cav專用車(chē)道設(shè)置為自由車(chē)道方向，即可右轉(zhuǎn)，直行和左轉(zhuǎn)；普通車(chē)道設(shè)置為固定車(chē)道模式，即左轉(zhuǎn)hv只能從固定為左轉(zhuǎn)普通車(chē)道通過(guò)交叉口。在此基礎(chǔ)上，為cav專用車(chē)道提供了cav專用相位，在cav專用相位內(nèi)，采用本方法自由調(diào)控cav通過(guò)交叉口；在其他相位，利用信號(hào)燈分離沖突車(chē)輛，將沖突的hv車(chē)流分配到不同相位，hv則完全沿用傳統(tǒng)方式，根據(jù)信號(hào)燈指示通過(guò)交叉口。

10、深度強(qiáng)化學(xué)習(xí)框架包括三個(gè)智能體：第一智能體(lane-pattern?agent)、第二智能體(traffic-signal?agent)和第三智能體(cav-coordination?agent)，第一智能體、第二智能體和第三智能體按順序與環(huán)境進(jìn)行動(dòng)態(tài)耦合。

11、首先，第一智能體用于根據(jù)cav的滲透率調(diào)整cav專用車(chē)道模式。其中，第一智能體感知環(huán)境中cav與hv的數(shù)量比例，通過(guò)執(zhí)行ε-貪婪策略從而確定動(dòng)作——選擇cav專用車(chē)道模式，并執(zhí)行動(dòng)作將所選擇的cav專用車(chē)道模式應(yīng)用于環(huán)境中。

12、其次，第二智能體用于依據(jù)cav專用車(chē)道模式和實(shí)時(shí)車(chē)流量動(dòng)態(tài)調(diào)整信號(hào)燈相位并確定相位。其中，第二智能體感知將所選擇的cav專用車(chē)道模式應(yīng)用于環(huán)境后環(huán)境的狀態(tài)，通過(guò)執(zhí)行ε-貪婪策略從而確定動(dòng)作——選擇相位，并執(zhí)行動(dòng)作將所選擇的相位應(yīng)用于環(huán)境中。

13、最后，第三智能體用于在所選擇的相位下為cav專用車(chē)道上的車(chē)輛分配通行權(quán)，其中，第三智能體感知將所選擇的相位應(yīng)用于環(huán)境后環(huán)境的狀態(tài)，通過(guò)執(zhí)行ε-貪婪策略從而確定動(dòng)作——分配cav專用車(chē)道上車(chē)輛的通行權(quán)，基于所分配的車(chē)輛通行權(quán)調(diào)控cav通過(guò)交叉口，實(shí)現(xiàn)對(duì)混合交通流的控制。

14、在一種可選的實(shí)施例中，所述第一智能體執(zhí)行如下步驟：

15、獲取t時(shí)刻環(huán)境中cav車(chē)輛數(shù)與hv車(chē)輛數(shù)，并將所述cav車(chē)輛數(shù)與所述hv車(chē)輛數(shù)的比例構(gòu)成作為t時(shí)刻的狀態(tài)st；

16、將選擇cav車(chē)道模式作為動(dòng)作，通過(guò)ε-貪婪策略確定所述狀態(tài)st下t時(shí)刻的動(dòng)作at；

17、執(zhí)行所述動(dòng)作at，并獲取執(zhí)行所述動(dòng)作at后的車(chē)輛通行數(shù)目，根據(jù)所述車(chē)輛通行數(shù)目計(jì)算t時(shí)刻的獎(jiǎng)勵(lì)rt。

18、在一種可選的實(shí)施例中，在所述第一智能體執(zhí)行完畢后還包括：將所述狀態(tài)st、所述動(dòng)作at、獎(jiǎng)勵(lì)rt和所述環(huán)境在t+1時(shí)刻的狀態(tài)st+1整合成經(jīng)驗(yàn)放入經(jīng)驗(yàn)回放池，利用所述經(jīng)驗(yàn)回放池的經(jīng)驗(yàn)對(duì)所述第一智能體進(jìn)行訓(xùn)練。

19、在一種可選的實(shí)施例中，所述第二智能體執(zhí)行如下步驟：

20、獲取t時(shí)刻環(huán)境中各信號(hào)燈相位對(duì)應(yīng)車(chē)道的排隊(duì)長(zhǎng)度，將各信號(hào)燈相位對(duì)應(yīng)車(chē)道的排隊(duì)長(zhǎng)度作為t時(shí)刻的狀態(tài)st；

21、將選擇所述cav專用車(chē)道模式的相位作為動(dòng)作，通過(guò)ε-貪婪策略確定所述狀態(tài)st下t時(shí)刻的動(dòng)作at；

22、執(zhí)行所述動(dòng)作at，并獲取執(zhí)行所述動(dòng)作at后的車(chē)輛通行數(shù)目，根據(jù)所述車(chē)輛通行數(shù)目計(jì)算t時(shí)刻的獎(jiǎng)勵(lì)rt。

23、在一種可選的實(shí)施例中，在所述第二智能體執(zhí)行完畢后還包括：將所述狀態(tài)st、所述動(dòng)作at、獎(jiǎng)勵(lì)rt和所述環(huán)境在t+1時(shí)刻的狀態(tài)st+1整合成經(jīng)驗(yàn)放入經(jīng)驗(yàn)回放池，利用所述經(jīng)驗(yàn)回放池的經(jīng)驗(yàn)對(duì)所述第二智能體進(jìn)行訓(xùn)練。

24、在一種可選的實(shí)施例中，所述第三智能體執(zhí)行如下步驟：

25、獲取t時(shí)刻環(huán)境中交通狀態(tài)，將所述交通狀態(tài)作為t時(shí)刻的狀態(tài)st；其中，所述交通狀態(tài)采用離散交通狀態(tài)編碼，包括位置矩陣、速度矩陣、路徑矩陣和釋放優(yōu)先級(jí)矩陣；

26、將分配所述cav專用車(chē)道上車(chē)輛的通行權(quán)作為動(dòng)作，通過(guò)ε-貪婪策略確定所述狀態(tài)st下t時(shí)刻的動(dòng)作at；

27、執(zhí)行所述動(dòng)作at，并獲取執(zhí)行所述動(dòng)作at后的車(chē)輛通行數(shù)據(jù)、排隊(duì)長(zhǎng)度和放行優(yōu)先級(jí)，根據(jù)所述車(chē)輛通行數(shù)目、所述排隊(duì)長(zhǎng)度和所述放行優(yōu)先級(jí)計(jì)算t時(shí)刻的獎(jiǎng)勵(lì)rt。

28、在一種可選的實(shí)施例中，根據(jù)所述車(chē)輛通行數(shù)據(jù)、所述排隊(duì)長(zhǎng)度和所述放行優(yōu)先級(jí)計(jì)算t時(shí)刻的獎(jiǎng)勵(lì)rt，計(jì)算過(guò)程如下：

29、

30、上式中，nt為t時(shí)刻的車(chē)輛通行數(shù)目，m為車(chē)臂數(shù)目，n為車(chē)道數(shù)目，qt為t時(shí)刻的排隊(duì)長(zhǎng)度，ft為t時(shí)刻的放行優(yōu)先級(jí)，α1、α2、α3為權(quán)重。

31、在一種可選的實(shí)施例中，在所述第三智能體執(zhí)行完畢后還包括：將所述狀態(tài)st、所述動(dòng)作at、獎(jiǎng)勵(lì)rt和所述環(huán)境在t+1時(shí)刻的狀態(tài)st+1整合成經(jīng)驗(yàn)放入經(jīng)驗(yàn)回放池，利用所述經(jīng)驗(yàn)回放池的經(jīng)驗(yàn)對(duì)所述第三智能體進(jìn)行訓(xùn)練。

32、本發(fā)明第二方面提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)混合交通環(huán)境下的交叉口強(qiáng)化學(xué)習(xí)控制方法。

33、本發(fā)明第三方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)混合交通環(huán)境下的交叉口強(qiáng)化學(xué)習(xí)控制方法。

34、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

35、本發(fā)明相引入了cav專用相位和自由車(chē)道方向的cav專用車(chē)道，通過(guò)第一智能體根據(jù)cav滲透率調(diào)整cav專用車(chē)道模式，第二智能體根據(jù)cav專用車(chē)道模式執(zhí)行相應(yīng)的信號(hào)燈相位方案，并根據(jù)實(shí)時(shí)車(chē)流量動(dòng)態(tài)調(diào)整信號(hào)燈狀態(tài)，當(dāng)信號(hào)燈處于cav專用相位時(shí)，第三智能體根據(jù)當(dāng)前cav交通狀態(tài)動(dòng)態(tài)確定車(chē)道的通行權(quán)，并基于通行權(quán)放行車(chē)輛；通過(guò)這種控制方法，能夠在不同cav滲透率下動(dòng)態(tài)優(yōu)化車(chē)道模式和信號(hào)燈狀態(tài)，同時(shí)在cav專用相位下靈活協(xié)調(diào)車(chē)輛通行，從而最大化整體交通效率并降低交叉口延誤，與動(dòng)態(tài)信號(hào)燈和傳統(tǒng)固定信號(hào)燈相比，減少了車(chē)輛的平均延誤時(shí)間和平均排隊(duì)長(zhǎng)度，增加了通行效率。