|
作者：Mobileye 自動駕駛的發展不僅僅是一個技術命題，同樣也是一個商業命題。從技術競爭為主導的上半場，到以商業化落地為主導的下半場，自動駕駛技術的發展和應用需要緊密結合市場需求，企業需要探索可行的商業模式，以實現技術的規模化和產業化落地。 “實現完全自動駕駛之路如同一場馬拉松長跑”，Mobileye創始人、總裁兼首席執行官Amnon Shashua教授在日前公司Driving AI Day活動的演講中提到，“這不僅考驗著企業的技術創新和產品開發能力，還考驗著企業的持續經營和盈利能力。”他提到，在Mobileye過去多年的支出中，每年僅用于研發自動駕駛的投入就高達6億美元左右。在這場長跑中，企業不能僅僅依賴外部資金的注入，更重要的是要找到合適的盈利模式，以保障業務的長期可持續發展。 
Mobileye創始人、總裁兼首席執行官Amnon Shashua教授和首席技術官Shai Shalev-Shwartz教授 而對于Mobileye要如何實現完全自動駕駛的規模化戰略，Amnon教授也給出了清晰的回答——復合人工智能系統（CAIS）。 什么是復合人工智能系統？ 復合人工智能系統（Compound AI Systems）最早是2024年初加州大學伯克利分校的AI研究實驗室網站上的一篇題為《從模型到復合人工智能系統的轉變》的博客文章中提出的。文章指出，最先進的人工智能成果越來越多地產出于復雜的多組件復合系統，而非單一大模型。 與傳統的僅依賴單一人工智能模型的系統不同，復合人工智能系統強調多種工具和模塊的集成和共同協作，以高效處理人工智能任務。 這種集成方法提供了靈活性和適應性，允許系統根據不同的輸入和任務進行調整。此外，復合系統通過不同組件實現冗余，確保系統的穩定性。復合人工智能系統也更加可解釋和透明，因為可以追蹤每個組件對最終輸出的貢獻。 Mobileye以攝像頭為中心的復合人工智能系統 所謂“以攝像頭為中心”，不同于“僅依賴攝像頭”，意味著同時對更多類型傳感器的采用也持開放態度。例如，Mobileye內部在開發成像雷達，還在“可脫眼”系統中集成了一個前向激光雷達。攝像頭和雷達的成本都相對較低，“可脫眼”系統配置的一個前向激光雷達的成本也很低，只需幾百美元。 所謂“復合”，是指一方面Mobileye積極采用前沿的AI技術，例如深度學習、端到端，同時也發揮自己在視覺算法方面的傳統優勢，充分利用各種技術的優勢，達到安全性和效率的最大化。 Amnon Shashua教授從四大維度深入審視了包括Mobileye自身“以攝像頭為中心的復合人工智能系統”在內的當前主流智駕方案技術路線，這些也是Mobileye為實現自動駕駛下半場商業落地可行性的重要考量維度。 • 維度一：成本。在智駕的競爭中，成本是關鍵要素。高昂的研發和生產成本會直接影響到自動駕駛技術的普及速度和范圍。成本是將Mobileye的技術路線與以激光雷達為中心的，配置大量昂貴傳感設備的技術方案在未來商業落地可行性層面拉開差距的主要因素。 • 維度二：模塊化。Mobileye的復合人工智能系統在模塊化設計方面表現出色，這與Mobileye的經營理念緊密相連 —— 公司的產品組合涵蓋了從輔助駕駛到無人駕駛出租車（Robotaxi）的各個類別，而模塊化意味著可以提取系統中的某些模塊，并基于此打造成本更低的智駕或輔助駕駛系統，或者增加額外的冗余傳感器，以較小的投資實現向更高級別自動化的逐步過渡。通過模塊化，將能夠更好地適應未來技術更新和市場需求的變化。 • 維度三：地域可擴展性。地域可擴展性是指方案擴展到其它地域的難易程度。這一點對于全球化或致力于拓展全球化布局的汽車制造商尤為重要。 • 維度四：平均故障間隔時間（MTBF）。MTBF即平均行駛多久需要進行一次關鍵性的干預，是衡量系統可靠性的重要指標。相較于基于概率做出推斷式決策、不具有可解釋性的端到端技術路線，Mobileye通過嚴謹的數學計算，能夠得出復合人工智能系統的誤差水平，為實現可脫眼系統所需的MTBF（Mean time between failures，平均無故障工作時間）開辟一條更為現實且可靠的路徑。 端到端——熱話題也需冷思考 在Mobileye的復合人工智能系統中，端到端是重要的組成部分之一。 Mobileye很早就看到了端到端的潛力，在其大規模流行之前，就開始研究其在智駕領域的應用，也有積極采用端到端。早在2016年，Mobileye創始人、總裁兼首席執行官Amnon Shashua教授和Mobileye首席技術官Shai Shalev-Shwartz教授就發表了一篇闡釋端到端系統的論文。 但Mobileye認為，端到端應作為智駕子系統之一提供冗余，而僅依靠端到端則會出現問題。
端到端方案的兩個前提及對應的現實情況 先來看端到端的兩個前提： 第一個前提：系統內部不存在任何粘合代碼，而是由一個“黑箱”操作的神經網絡構成。該神經網絡的輸入端接收來自攝像頭的傳感信息，輸出端則提供汽車的行駛方向和軌跡，最終輸出的是行動決策。系統本身僅作為一個數據通道。隨著越來越多的數據被添加，神經網絡通過觀察人類駕駛員的行為來學習駕駛技巧。同時，有數以百萬計的汽車在不斷地發送行駛數據。由于不存在粘合代碼，隨著時間的推移和數據量的增加，系統可以使用更多的數據進行訓練，最終達到一個奇點水平，即達到或超越人類駕駛員的能力。 但現實是：盡管號稱無粘合代碼，實際上粘合代碼是確實存在的，只是以離線方式存在于系統中。在機器學習領域，尤其是在使用Transformer架構時，系統的任務是估算概率，即基于輸入數據預測行駛軌跡的可能性。這種預測更多地關注可能性的大小，而非預測結果的正確性。因此，神經網絡并不真正了解如何區分“罕見但正確”與“常見但錯誤”之間的區別。只根據統計，系統會更偏向于選擇“常見但錯誤”的行為。 因為端到端系統只是估算概率，所以這種情況本質上就無法避免。而我們當然不希望自動駕駛汽車做出違反交規的行為。 為了解決這一問題，需要在語言模型中引入基于人類反饋的強化學習（RLHF）。對于端到端系統，就是在離線環境中，通過篩查和過濾機制，識別并剔除不良的人類駕駛行為，例如粗暴駕駛、魯莽駕駛等。這一過程需要大量的工程技術和粘合代碼的支持，但這些工作都在離線環境中完成，而不是在線實時進行。 因此，粘合代碼并沒有消失，而是從在線轉移到了離線環境。這就是所謂的“自動駕駛對齊”問題，即需要區分哪些行為是正確的，哪些是錯誤的。 第二個前提：訓練數據均為無監督數據，這意味著僅包含原始圖像，沒有人對圖像中的數據進行過標注。因此，系統必須能夠僅依賴無監督數據來實現足夠的平均故障間隔時間。 但現實是，僅靠無監督數據進行訓練，端到端方案的準確率能從0很快地推進到95%，但其所需的巨大成本、數據量和工程量也不容忽視。以現在的大語言模型和transformer為例，在從0—95%的階段，能夠實現相當大的飛躍，但無法達到100%準確，有時候會犯一些匪夷所思的錯誤。 對于事關安全的智駕，試錯空間極小，95%的安全性是遠遠不夠的。而僅依賴端到端，要想達到99.999999%的安全性是相當難的。 僅靠未經標注的無監督數據進行訓練，會帶來諸多問題，例如： 計算器問題：系統無法學會“長乘法”，因為系統所看到的只是許多數對相乘的示例，從這些示例中不足以抽象出長乘法的概念。因此在大語言模型中，不使用模型本身來輸出結果，而是通過將問題轉化為Python代碼，由Python代碼直接調用計算器，才能解決這一問題。“計算器”的角色，就是智駕系統為端到端注入的“抽象概念”的角色，即將具體的事物或行為抽象化，形成一般性的原則或規則。 捷徑學習問題：“端到端方法”就是將所有傳感器的數據輸入到一個大型神經網絡，然后對其進行訓練。而輸入的信息中，因為有些信息的樣本復雜度低，意味著你需要少量的數據便可以學習到模式，而有的則相反。例如，激光雷達就是一種低樣本復雜度的信息源，它是精確的三維傳感器，因此要進行泛化，所需的數據量要遠遠少于攝像頭。而攝像頭則是高樣本復雜度的信息源。 當輸入來自不同的模態時，樣本復雜度不同。而端到端隨機梯度下降很難充分利用所有模態的優勢，誤差達到一定程度后就很難再下降。 嚴格意義上倒也不是說做不到，但所需要的時間之長，完全不切實際。這就是“捷徑學習問題”。 長尾問題：對于長尾問題有兩種假設，在樂觀的情況下，有些事件的概率相對較大，而有些則非常小，覆蓋一些邊緣事件就可以大幅度地減少總體概率質量（probability mass）。這意味著少數關鍵的邊緣事件可以顯著提升系統性能，進而實現更高的平均故障間隔時間；在悲觀的情況下，所有罕見的長尾問題其實概率都一樣非常小，每個邊緣事件對概率質量的影響非常小。這意味著即使處理了很多邊緣事件，系統的故障率仍然不會有顯著改善。覆蓋所有這些邊緣情況需要很長一段時間，長到不切實際。 總體而言，端到端學習模型的優勢是顯著的。然而，如果僅依賴無監督數據，不引入抽象概念，不考慮長尾問題，而只是單純地向系統提供更多數據，那么是否能夠實現平均故障間隔時間的目標確實是一個值得探討的問題。 Mobileye的復合人工智能系統如何破局并降低誤差 說到將AI應用于汽車行業，Mobileye在這方面一直都是先行者。Mobileye一直致力于將最新的AI技術整合到自身軟件堆棧中。 每項技術都各有所長。Mobileye也積極采用包括端到端在內的前沿技術，在下一代軟件中大量利用了端到端和Transformer，但不是拿來就用，而是會深入了解其優劣勢，結合自身的經典優勢技術，取各自之所長，重成本與效率，將最新的AI技術以安全和負責任的方式整合到產品中。 Mobileye的復合人工智能系統通過為端到端系統注入恰到好處的適量抽象概念，如RSS（責任敏感安全）模型，通過傳感器冗余、算法冗余，以及高階融合，能夠將總體誤差降至最低。 “偏差-方差權衡”以及抽象概念 前文中提到了端到端系統依靠無監督數據進行訓練，按照概率分布做出決策判斷，就好像我們只從身邊的人的言行中學習，基于經驗做出判斷，但是未必清楚核心的規則和原理。 而所謂“抽象概念”，就是規范了某些具體的概念、需要遵守的一般性原則或行為準則，而不僅僅是表面的、具體的模式，讓決策有據可依，提高規范性和安全性。 對于自動駕駛，RSS模型，即Mobileye用于為駕駛決策提供安全保障的引擎，就是一種抽象概念。還有感知狀態，即基于輸入圖像輸出車輛位置、行人、所有道路使用者、車道標記、交通信號燈、交通標志等等，這都是根據人類的經驗來判斷哪些是重要信息，然后獲得相應的輸出，這就是我們所說的抽象概念。 但抽象概念的注入要適量。為便于理解，這里講一下“偏差-方差”的概念。
機器學習中的“偏差-方差”權衡 偏差，又稱“近似誤差”，是指學習系統無法反映現實的全部內容。注入抽象概念的程度稱為偏差（Bias）。如果注入的抽象概念過多，就會產生近似誤差，也就是說，模型的豐富程度以及容量并不能反映現實的豐富程度，在這種情況下，模型被過于局限了。過多的抽象概念、過多的偏差可能會因為近似誤差而導致系統出錯，因為這些都限制了系統的容量，神經網絡的容量無法反映現實的豐富程度。 方差，也稱“泛化誤差”，是指學習系統對觀察到的數據過度擬合，而無法泛化到從未見過的例子。如果不注入任何抽象概念，會產生很高的泛化誤差。隨著注入偏差的增加，也就是注入抽象概念增多時，泛化誤差會下降。但凡事過猶不及，如果注入過多的抽象概念，系統容量就不足以反映現實的豐富程度。 學習模型的總誤差是近似誤差和泛化誤差的總和。因此，為最大程度減少誤差，需要對這兩個誤差進行精細控制。可以通過限定學習模型必須來自特定的模型族來減小泛化誤差，但如果所選擇的模型族無法反映現實的全部豐富性，就可能會引入偏差，因此兩者之間存在權衡。 因此，就需要注入恰到好處的適量抽象概念，達到最佳平衡點，使總體誤差最低。 落到Mobileye的具體工作中，其抽象概念是一套“感知-規控-執行”方法論。RSS模型就是一種大型抽象概念，還有運行的計算，分析計算等等，還有自動緊急制動（AEB）相關的“碰撞時間（TTC）”概念，也是抽象概念，應對長乘法的計算器也是，諸如此類，不一而足。 冗余設計和高階融合：以嚴謹的數學方式論證誤差 在談到“捷徑學習”問題時，提到了端到端無法真正利用每種傳感器模態的優勢，這種低階融合無法達到理想結果。 而且端到端本質上是一個黑箱，不具有可解釋性。但自動駕駛汽車的權衡規則必須公開透明，使社會能夠通過監管解釋影響所有道路使用者的自動駕駛決策。 最好的方式是建立一個可分解的系統，這樣一來，當出現錯誤時，就可以找出錯誤原因并只關注網絡出錯的那個區域，不會影響到其他地方。 Mobileye的復合人工智能系統旨在利用所有傳感器模式（包括攝像頭、雷達和激光雷達），按每種傳感器對系統進行可分解訓練，然后進行高級融合，從而對駕駛環境形成更深入、更精確的理解，并更有效地處理各種極端情況，輕松達到更低的誤差水平，這與完全的端到端系統或基于低階融合的系統相比更具優勢。 高階融合中，有簡單的部分，也有復雜的部分。 適用于二元決策的簡單傳統融合：比如前方有一輛車，是踩剎車還是不踩剎車，這是一個二元決策。經典的處理方式是采用“多數規則”，三個子系統里只要有兩個得到同樣結論，就滿足少數服從多數。每個子系統都會給出1或-1的輸出，即踩剎車或不踩剎車的決策。如果每個子系統犯錯的概率為ε，那么采用多數規則，會讓犯錯的概率降到ε2，包括漏檢或誤檢的概率都會降低。這就是傳統融合，屬于簡單的部分。 適用于非二元決策的PGF（Primary-Guardian-Fallback）高階融合：有很多決策并非是二元的，也就是無法根據多數規則來做決策。舉個例子，在橫向控制情況下，比如說車兩側各有一輛公交車，一個子系統告訴我們前方道路左轉，另一個子系統告訴我們前方道路直行，還有一個子系統告訴我們前方道路右轉。這里沒有“多數”的概念，該怎么辦呢？如果做了錯誤的決策，就會和旁側公交車發生碰撞事故。那么，問題就來了：我們該如何進行高階融合以做出非二元決策？
無法根據多數規則來做決策的非二元情況 概括地講，Mobileye構建了三個子系統，這三個子系統針對想要進行高階融合的所有組件，不僅僅是攝像頭、雷達、激光雷達，而是包含了高階融合的所有方面。
構建PGF三個子系統以進行高階融合 • “Primary”主系統：用于預測，例如預測車道位置 • “Fallback”備用系統：基于不同方法同樣做預測 • “Guardian”監護系統：負責檢查Primary主系統的預測是否正確 例如，前方道路是向右、向左還是直行，端到端網絡做出了判斷，Guardian監護系統同時也在執行它的檢查工作，每個系統出錯的概率均為ε。 如果Guardian監護系統認為Primary主系統的預測有效，就按此執行；否則會選擇Fallback備用系統。 經證明，系統的總體誤差可以低至與多數規則相同的水平。 總的來說，復合人工智能系統代表了人工智能發展的一個重要趨勢，即從單一模型的優化轉向構建集成多種AI技術的復合系統，以實現更高效和強大的AI應用，滿足自動駕駛應用對安全性、精確性的高要求。 更多Mobileye的最新技術創新，請觀看Mobileye Driving AI Day演講視頻回放。 100倍Transformer效率提升 Mobileye的復合人工智能框架由多個相互支持的組件構成，這些組件專為自動駕駛而設計，旨在將端到端學習模型與專門算法相結合，以實現對Transformer和生成式AI的高效利用。 為了達成這一目標，Mobileye開發專為自動駕駛感知和規劃而優化的Transformer模型。該模型在效率上相較于通用人工智能領域的最先進模型提升了100倍，同時并未降低準確性。 具體實現方法為STAT（稀疏注意力），該技術通過將token分為不同類型，并按類型劃分相應的矩陣。這一過程類似于將人群分成多個小組，每個小組由一位經理負責，小組成員直接與經理溝通，而經理之間也進行相互交流。通過這種有序的溝通機制，STAT技術顯著提高了整體的工作效率。 EyeQ6H——效率的代名詞 Mobileye提出了能夠科學地反應芯片能力的指標——FPS（Frames per second），即每秒能夠處理的畫面幀數。相較于TOPS數值，FPS能夠科學地體現系統在現實中解決實際問題的能力，因此可以作為更科學地衡量效率的指標。 Mobileye認為重視效率才是技術能力的體現。基于在計算機視覺算法方面的深厚積累和經典傳承，并結合在AI深度學習方面的前沿突破，Mobileye在芯片設計上采用完全異構的計算架構，針對卷積和transformer等神經網絡以及視覺運算的不同計算場景，將適合的運算任務分配到適合的核，提高芯片利用率，實現整體最有效的加速。相較于上一代EyeQ5H，EyeQ6H 有其2倍的Tops，卻達到了10倍的FPS。 自動化數據標注，解決現實世界的數據難題 CAIS因為注入了抽象概念，因此僅需要少量的數據進行訓練，但所需的必須是高質量的數據。 Mobileye采取的方法是在離線環境中生成數據，無需占用車載計算資源。首先，基于大量的無監督數據訓練一個基礎模型，然后通過監督式微調來針對特定問題進行建模。 Mobileye開發了一種針對圖像的基礎模型，該模型能夠理解每個像素的含義，并根據像素的語義屬性進行聚類。因此，該模型能夠識別圖像中每輛車、每個車道標記、每根桿子的位置等，最終創建自動基準真值，以完全自動化的方式建立對周圍環境的全面理解，從而能夠獲得非常豐富的現實表征，基本上能夠了解周圍每個像素的深度信息，然后利用這些高質量的數據來訓練AI模型，而且生成這些標簽的成本為零，因為這一過程無需人工干預。 |
