自動(dòng)駕駛技術(shù)發(fā)展至今，雖已取得顯著進(jìn)步，但仍面臨諸多挑戰(zhàn)。其中，如何讓AI系統(tǒng)在復(fù)雜多變的真實(shí)環(huán)境中具備足夠的適應(yīng)能力，成為行業(yè)關(guān)注的焦點(diǎn)。清華大學(xué)智能產(chǎn)業(yè)研究院的科研團(tuán)隊(duì)聯(lián)合多所院校，針對(duì)這一問(wèn)題展開(kāi)深入研究，提出了一種創(chuàng)新性的解決方案，相關(guān)研究成果發(fā)表于arXiv預(yù)印本平臺(tái)。

當(dāng)前，多數(shù)自動(dòng)駕駛AI系統(tǒng)主要依賴(lài)模仿學(xué)習(xí)，就像學(xué)生僅通過(guò)背誦標(biāo)準(zhǔn)答案來(lái)學(xué)習(xí)數(shù)學(xué)，雖能掌握基礎(chǔ)技能，但缺乏解題思路。當(dāng)遇到訓(xùn)練數(shù)據(jù)中未出現(xiàn)的新情況，尤其是罕見(jiàn)且危險(xiǎn)的長(zhǎng)尾場(chǎng)景，如突然出現(xiàn)的行人或異常交通狀況時(shí)，這些系統(tǒng)往往表現(xiàn)不佳，難以做出合理決策。

為突破這一瓶頸，研究團(tuán)隊(duì)開(kāi)發(fā)了名為CoIRL - AD的新框架，即“協(xié)作競(jìng)爭(zhēng)式模仿強(qiáng)化學(xué)習(xí)”。該框架為AI系統(tǒng)賦予了模仿與探索兩種能力，在其內(nèi)部設(shè)置了兩個(gè)獨(dú)立的“駕駛員”。一個(gè)“駕駛員”專(zhuān)門(mén)模仿專(zhuān)家駕駛，確保基礎(chǔ)駕駛技能的可靠；另一個(gè)“駕駛員”則負(fù)責(zé)在安全范圍內(nèi)探索不同駕駛策略，從成功與失敗中積累經(jīng)驗(yàn)。

這兩個(gè)“駕駛員”既合作又競(jìng)爭(zhēng)。在合作方面，它們共同為AI系統(tǒng)的駕駛決策提供支持；在競(jìng)爭(zhēng)方面，當(dāng)兩者表現(xiàn)相近時(shí)和平共處，若一方明顯更優(yōu)，較弱的一方會(huì)主動(dòng)學(xué)習(xí)強(qiáng)者的經(jīng)驗(yàn)。這種動(dòng)態(tài)的學(xué)習(xí)機(jī)制，使AI系統(tǒng)能夠不斷優(yōu)化自身策略。

為進(jìn)一步提升探索駕駛員的能力，研究團(tuán)隊(duì)引入了一個(gè)虛擬的“想象世界”。這個(gè)高度逼真的駕駛模擬器，讓探索駕駛員無(wú)需實(shí)際道路行駛，就能預(yù)測(cè)不同行駛策略的后果，從而在真實(shí)世界數(shù)據(jù)基礎(chǔ)上，通過(guò)想象擴(kuò)展經(jīng)驗(yàn)范圍。

在駕駛規(guī)劃方式上，研究團(tuán)隊(duì)也有新發(fā)現(xiàn)。傳統(tǒng)方法多為“從近到遠(yuǎn)”，即先確定眼前行駛路線，再考慮遠(yuǎn)處目標(biāo)。而他們發(fā)現(xiàn)“從遠(yuǎn)到近”的反向規(guī)劃更符合人類(lèi)駕駛思維，先明確目的地，再規(guī)劃具體轉(zhuǎn)彎和變道動(dòng)作，使駕駛決策更合理。

在nuScenes和Navsim兩個(gè)權(quán)威自動(dòng)駕駛數(shù)據(jù)集上的測(cè)試表明，CoIRL - AD系統(tǒng)優(yōu)勢(shì)明顯。與傳統(tǒng)純模仿學(xué)習(xí)方法相比，其碰撞率降低了18%，在處理罕見(jiàn)和困難場(chǎng)景時(shí)表現(xiàn)更出色，跨城市部署時(shí)的適應(yīng)能力也更強(qiáng)。研究團(tuán)隊(duì)還專(zhuān)門(mén)構(gòu)建了包含易預(yù)測(cè)錯(cuò)誤情況和易引發(fā)碰撞危險(xiǎn)場(chǎng)景的測(cè)試環(huán)境，CoIRL - AD系統(tǒng)在這些困難場(chǎng)景中均展現(xiàn)出更強(qiáng)的應(yīng)對(duì)能力。

該研究的技術(shù)創(chuàng)新不僅體現(xiàn)在雙重學(xué)習(xí)架構(gòu)，還包含諸多精巧細(xì)節(jié)。例如，為使探索駕駛員產(chǎn)生的行駛軌跡更平滑合理，研究團(tuán)隊(duì)采用“步驟感知”探索機(jī)制，每次探索僅一個(gè)行駛步驟隨機(jī)，其余采用最優(yōu)策略，既保證探索多樣性，又維持軌跡連貫性。

在訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)觀察到有趣現(xiàn)象。訓(xùn)練初期，模仿駕駛員因有專(zhuān)家示范可學(xué)習(xí)，表現(xiàn)更好；隨著訓(xùn)練深入，探索駕駛員通過(guò)試錯(cuò)積累豐富經(jīng)驗(yàn)，逐漸展現(xiàn)出優(yōu)勢(shì)，這體現(xiàn)了學(xué)習(xí)過(guò)程的自然規(guī)律。

研究團(tuán)隊(duì)還通過(guò)消融實(shí)驗(yàn)驗(yàn)證了框架各組件的必要性。他們發(fā)現(xiàn)，簡(jiǎn)單將模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)損失函數(shù)相加，會(huì)因梯度沖突導(dǎo)致訓(xùn)練不穩(wěn)定，只有通過(guò)雙策略架構(gòu)和競(jìng)爭(zhēng)機(jī)制，才能實(shí)現(xiàn)兩種學(xué)習(xí)方式有效結(jié)合。

值得一提的是，CoIRL - AD系統(tǒng)在推理階段不會(huì)增加額外計(jì)算開(kāi)銷(xiāo)。兩個(gè)“駕駛員”在訓(xùn)練完成后整合為統(tǒng)一駕駛策略，實(shí)際部署時(shí)運(yùn)行效率與傳統(tǒng)方法相當(dāng)。

研究團(tuán)隊(duì)在論文中也客觀討論了當(dāng)前方法的局限。由于使用的獎(jiǎng)勵(lì)函數(shù)相對(duì)簡(jiǎn)單，僅考慮模仿獎(jiǎng)勵(lì)和碰撞獎(jiǎng)勵(lì)，系統(tǒng)在某些復(fù)雜場(chǎng)景表現(xiàn)仍有提升空間。基于世界模型的仿真雖能提供額外訓(xùn)練數(shù)據(jù)，但與真實(shí)世界仍存在差距。

盡管存在這些局限，CoIRL - AD框架已展現(xiàn)出巨大潛力。它不僅在技術(shù)層面實(shí)現(xiàn)創(chuàng)新突破，更為自動(dòng)駕駛AI系統(tǒng)學(xué)習(xí)方式提供了新方向，這種結(jié)合模仿與探索的學(xué)習(xí)范式，有望成為未來(lái)自動(dòng)駕駛技術(shù)發(fā)展的重要趨勢(shì)。