談起第一梯隊的自動駕駛企業(yè)，cruise必有一席之地。2022年6月cruise已獲準(zhǔn)在加州開展無駕駛員的自動駕駛收費載人運營服務(wù)。而9月cruise在發(fā)生交通事故后對其運營的80輛自動駕駛車輛的軟件進(jìn)行了召回更新。接下來，我們來看看cruise是如何在城市道路上實現(xiàn)自動駕駛的。

cruise以下圖為例來介紹加州日常道路的工況。例如常規(guī)的有川流不息的車輛，有靠邊的車輛但是乘客開門上下車，有拖車裝卸車輛，裝有體積超過車輛自身貨物的皮卡需要判斷貨物的大小選擇合適的距離跟進(jìn)。有時候會出現(xiàn)水馬等被撞后橫躺在馬路上，在白天或者晚上道路上可能會有小動物出沒，有時甚至出現(xiàn)沙塵等情況。

城市道路上帶有自身的復(fù)雜性和不確定性，例如行人突然穿越道路，或者轉(zhuǎn)角處被車輛遮擋的行人等各種各樣日常道路上可能遇到的但是無法完全定義的情景。有時也可能遇到受兩側(cè)道路限制，不得不打破交通規(guī)則行駛的長尾場景。因舊金山城市道路工況的復(fù)雜性和代表性，Cruise選擇在舊金山部署自動駕駛車輛。其自動駕駛能識別理解長尾場景，保證車輛安全行駛。

Cruise對自動駕駛系統(tǒng)的介紹主要從以下兩部分入手：感知和決策。

1.感知

cruise 自動駕駛實現(xiàn)360度全景感知車輛周圍路況，為車輛正確地做出剎車，轉(zhuǎn)向，前行等決策行為提供依據(jù)。Cruise將相機(jī)、激光雷達(dá)、音頻采集傳感器、雷達(dá)采集到的數(shù)據(jù)作為初始數(shù)據(jù)，輸入到高級深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，經(jīng)過特征提取等處理后的數(shù)據(jù)作為決策規(guī)劃的依據(jù)。例如，cruise 采用panoptix圖像分割來識別垃圾桶等目標(biāo)障礙物，通過fine-grained分類來區(qū)分緊急救援車輛。Cruise 同時能識別目標(biāo)車輛的尾燈，打開的車門等特征，并持續(xù)觀測目標(biāo)的變化做出動態(tài)的調(diào)整。對已識別的目標(biāo)車輛和物體，自動駕駛系統(tǒng)會預(yù)判其下一步可能的行為軌跡。若出現(xiàn)無法完全觀測到周圍路況時，系統(tǒng)會識別到遮擋并如人類駕駛員一樣謹(jǐn)慎駕駛。

因消防等緊急救援車輛因時間緊迫等特殊性導(dǎo)致駕駛行為無法按正常駕駛邏輯來預(yù)測，因此以緊急救援車輛為例說明cruise為何搭載如此多傳感器。相機(jī)觀測到救援車輛，并識別到救援車輛已打開緊急燈；激光雷達(dá)監(jiān)測救援車是否打開車門或者其他物品超出車輛范圍，尤其在晚上等光線不佳時。當(dāng)救援車輛距離本車較遠(yuǎn)或者在另一端轉(zhuǎn)角無法被相機(jī)觀測到時，音頻采集傳感器將采集到高頻的警笛聲，采取及時避讓等措施；當(dāng)遇到大雨或者大霧天氣時，相機(jī)和激光雷達(dá)的可視性受阻時，此時可憑借雷達(dá)來識別障礙物。為了應(yīng)對包括長尾場景在內(nèi)的各種工況，AI系統(tǒng)安全可靠地將傳感器采集的環(huán)境數(shù)據(jù)集成。

Cruise 建立了基于LSTM的跟蹤模型，該模型通過提取的傳感器特征數(shù)據(jù)來追蹤目標(biāo)，并建立運動學(xué)模型。例如速度和轉(zhuǎn)彎半徑等。相較于傳統(tǒng)的camo濾波、粒子濾波等濾波算法，深度學(xué)習(xí)算法模型能更好的適應(yīng)運動學(xué)模型的變化，同時保持車輛的平順性。AI系統(tǒng)不僅實時監(jiān)測物體的運動，同時會預(yù)測其接下來的運動。例如，在十字路口，cruise能有效區(qū)分車輛是純粹右轉(zhuǎn)還是掉頭。Cruise建立了基于端對端深度學(xué)習(xí)的預(yù)測模型，在自監(jiān)督學(xué)習(xí)模式下，利用數(shù)千萬的數(shù)據(jù)對該預(yù)測模型進(jìn)行了訓(xùn)練。該預(yù)測模型包含了encoder-decoder模型架構(gòu)（編碼-解碼模型架構(gòu)）。在編碼器中，將場景信息和目標(biāo)物體軌跡進(jìn)行編碼后作為輸入識別出全場景的潛在特征，如通過圖注意力模型（Graph attention network）識別到多目標(biāo)物體的交互。通過mixture of expert 神經(jīng)網(wǎng)絡(luò)對不同的模式進(jìn)行結(jié)構(gòu)化建模。解碼器包含兩個子組。第一子組為兩層的多模態(tài)軌跡預(yù)測，通過對初始模型的不斷細(xì)化最終輸出包含障礙信息的軌跡多模態(tài)分布。第二子組包含了各式各樣的輔助任務(wù)，例如多目標(biāo)的軌跡重疊現(xiàn)象以及解決方案。為更好地對理解道路外形和周邊環(huán)境建模，通過占柵格地圖來預(yù)測障礙物。Cruise充分利用感知系統(tǒng)和hindsight數(shù)據(jù)增強(qiáng)的優(yōu)勢來進(jìn)行預(yù)測。

Cruise設(shè)計以交互為中心的架構(gòu)，例如以智能體對智能體的圖注意力機(jī)制，定義多目標(biāo)軌跡聯(lián)合損失。此外，cruise研發(fā)了交互自定義機(jī)制來識別多智能體是否有交互，若存在交互，交互的智能體是誰等。利用該機(jī)制來挖掘交互場景并定義自監(jiān)督輔助任務(wù)的交互檢測，交互解決方案等。Cruise自動駕駛系統(tǒng)還能有效識別社會動態(tài)性，例如在一個道路繁忙的十字路口，系統(tǒng)能識別到有20名等待穿過路口的行人并等待行人全部離開后再繼續(xù)行駛。在一個繁忙的城市，車輛將會頻繁地與車輛，行人各類智能體等發(fā)生交互。但是，相似的工況可能是截然不同的場景，而系統(tǒng)中的自動調(diào)整機(jī)制可以有效識別場景的差別。和經(jīng)驗豐富的駕駛者一樣，cruise 的AI系統(tǒng)遇到遮擋等情形時會識別具體哪個方位的路況被遮擋并預(yù)判障礙物后方有行人、車輛等從而提前減速謹(jǐn)慎行駛。

Cruise自動駕駛系統(tǒng)主動從駕駛?cè)罩竞头抡骜{駛中挖掘數(shù)據(jù)持續(xù)學(xué)習(xí)，利用學(xué)習(xí)后的數(shù)據(jù)重新訓(xùn)練模型、更新模型。在數(shù)據(jù)挖掘中，采用了許多機(jī)器學(xué)習(xí)算法來提升數(shù)據(jù)有效性。系統(tǒng)搭建主動學(xué)習(xí)分類來挖掘識別某些駕駛行為。例如，自行車掉頭和轉(zhuǎn)彎的初期的運行軌跡很相近，而且通常轉(zhuǎn)彎的概率大于掉頭，為了準(zhǔn)備識別和訓(xùn)練模型對自行車掉頭，cruise采集自行車掉頭軌跡，利用內(nèi)嵌的特征進(jìn)行掉頭相似性搜索，通過人為判斷并定義少量樣本訓(xùn)練分類器的精度，提高對掉頭判斷的準(zhǔn)確性。

2.決策

自動駕駛汽車在道路上行駛，何時減速，何時轉(zhuǎn)彎，如何避讓行人，如何保證駕駛的平順性和安全性等大大小小的決策都依靠于自動駕駛系統(tǒng)的決策。自動駕駛的決策和人為駕駛做出的決策一樣有好有壞，怎樣評價駕駛者的決策是好是壞，以及好的決策會有怎樣的結(jié)果？cruise團(tuán)隊認(rèn)為好的決策應(yīng)該有以下幾個特征，好的決策才能保證駕駛的安全性和舒適性。n反應(yīng)迅速及時n考慮到本車行為對路況的影響n預(yù)測道路上其他車輛或行人的行為n安全可靠

在自動駕駛決策系統(tǒng)中面臨很多挑戰(zhàn)，其中最主要的兩個挑戰(zhàn)是

一是決策密集性高，道路上行駛時每時每刻都需要根據(jù)路況做出決策，保證駕駛安全可靠。例如，示例畫面中與自動駕駛汽車產(chǎn)生交互的有大約100個智能體，以此會系統(tǒng)會規(guī)劃約5000條駕駛路徑。為保證正常行駛，車輛在1秒鐘內(nèi)需要決策10-100次。

二是道路不確定性，其實無論是人為駕駛車輛還是自動駕駛車輛在道路上行駛時，每時每刻都面臨著各種突發(fā)情況的考驗。例如在圖中，顯然第一輛自行車左轉(zhuǎn)，但是第二輛自行車目前無法準(zhǔn)確判斷其意圖，這即是運動不確定性。還有其他的諸如存在不確定性，即未知事物的不確定性或者障礙物暗含的不確定性。系統(tǒng)模型誤差，當(dāng)?shù)缆分械闹悄荏w的行為與駕駛者的常識出現(xiàn)偏差時，假如圖中的自行車掉頭或者摔倒，而系統(tǒng)未提前訓(xùn)練這些情景。

面對挑戰(zhàn)，cruise decision engine系統(tǒng)為車輛的安全性和可靠性保駕護(hù)航，系統(tǒng)包含機(jī)器學(xué)習(xí)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)等。

環(huán)境感知作為整個決策系統(tǒng)的輸入。在決策系統(tǒng)中，首先也是最重要的是動作生成，創(chuàng)建機(jī)器學(xué)習(xí)種子（seeds），即情景中所有目標(biāo)體包含自身的對接交互模式/分布。然后是沖突解決法模塊，在這個模塊中，系統(tǒng)將分析車輛的動作行為，初始規(guī)劃軌跡路徑后根據(jù)路況場景的實時變換優(yōu)化調(diào)整決策。為保證駕駛的安全性和舒適性，cruise采樣大量各種不同的道路場景，根據(jù)道路場景，規(guī)劃不同的行進(jìn)軌跡，對不同的軌跡進(jìn)行評價后選擇最優(yōu)的軌跡作為行進(jìn)路線。在軌跡評價機(jī)制中，cruise考慮得很全面包括一些很細(xì)小的地方，其中最顯然的是與車輛或行人保持安全的距離避免碰撞。另外駕駛的平順性也是評價機(jī)制的一個影響因素。鑒于無法完全預(yù)測道路場景，當(dāng)數(shù)據(jù)不足或有突發(fā)意外情況時，離線的強(qiáng)化學(xué)習(xí)能更好的理解路況并做出決策。最后一步則是決策規(guī)劃的檢查和更新，并將決策轉(zhuǎn)換為控制行為。Cruise融合了環(huán)境的動態(tài)性和車輛的實時性。控制團(tuán)隊成員采用各種方法實現(xiàn)最優(yōu)控制和魯棒控制。自動駕駛系統(tǒng)則可以直面運動不確定性、存在不確定性、3D不確定性、模型誤差等挑戰(zhàn)，實現(xiàn)安全可靠的自動駕駛。

以下圖的示例來說明不同駕駛行為對道路上其他車輛的交互影響和作用。在如圖所示的十字路口中，藍(lán)色的自動駕駛車輛在圖1中的決策是等待避讓，在圖2中的決策是直接穿過該十字路口左轉(zhuǎn)。在此示例中，cruise decision engine的決策評價機(jī)制需要充分理解并評估該路口其他車輛的駕駛意圖，評估車輛的運行軌跡是否與其他車輛有足夠的安全距離等各種交互問題，保證本車乘客安全舒適的同時，避免本車對其他行駛車輛造成不便。

利用離線的機(jī)器學(xué)習(xí)訓(xùn)練優(yōu)化模型，加速決策過程。檢查更新階段通常在10ms，面對完全不確定的路況等情況復(fù)雜時，需要完成3或4次迭代也能在80ms內(nèi)完成。在控制階段，對動態(tài)路況進(jìn)行高清識別建模，軌跡規(guī)劃，最優(yōu)控制，魯棒控制，并最終驅(qū)動車輛安全，舒適地行駛。