基于深度學習的視覺處理,可實現高精度及低功耗的解決方案 瑞薩電子株式會社(TSE:6723)與StradVision今日宣布聯合開發基于深度學習的視覺處理解決方案,用于下一代高級駕駛輔助系統(ADAS)的智能攝像頭,適用于ADAS Level 2及以上級別。 為了避免在城市地區發生的常見危險,下一代ADAS需具備高精度視覺處理能力,能夠檢測出行人和騎行者等所謂弱勢道路使用者(VRU)。同時,對于大眾市場的中低端車輛,這些系統必須實現非常低的功耗。瑞薩與StradVision的全新解決方案同時實現了這兩個目標,旨在加速ADAS的廣泛應用。 瑞薩電子汽車技術客戶合作事業部副總裁吉田直樹表示: “作為視覺處理技術的領導者,StradVision在應用瑞薩R-Car SoC開發ADAS解決方案方面擁有豐富經驗。通過此次合作,我們帶來了量產級解決方案,面向未來打造安全和精準的移動性能。這一基于深度學習的全新合作解決方案針對R-Car SoC進行了優化,將有助于下一代ADAS的廣泛采用,并可支持未來幾年內不斷提升的視覺傳感器要求。” StradVision首席執行官Junhwan Kim表示:“StradVision很高興能夠與瑞薩聯手,幫助開發人員有效推進ADAS的下一次重大飛躍。這一共同努力不僅可以轉化為快速有效的評估方案,而且將大大提升ADAS的性能。未來幾年中,預計前置攝像頭市場將會大規模增長,StradVision和瑞薩聯手打造優勢技術,無疑將保持雙方在該領域的領先地位。” StradVision基于深度學習的視覺處理軟件為車輛、行人和車道的識別等提供了高性能。該高精度視覺處理軟件已針對瑞薩R-Car汽車片上系統(SoC)產品R-Car V3H和R-Car V3M進行了優化,而R-Car系列產品已在量產車型中擁有良好的應用業績。以上R-Car系列產品搭載了CNN-IP(卷積神經網絡知識產權)深度學習處理專用引擎,使其能夠以最低功耗高速運行StradVision的SVNet汽車深度學習網絡。此次合作開發的視覺處理解決方案實現了基于深度學習的視覺處理能力,同時保持了低功耗,使其適用于量產車輛,進而推動ADAS的采用。 基于深度學習的視覺處理解決方案的關鍵特性: (1) 解決方案同時支持早期評估及量產車型 StradVision的SVNet深度學習軟件是一款強大的AI感知解決方案,用于量產的ADAS系統。它因在弱光環境下的識別精度和識別對象被其它物體部分遮擋時的處理能力而備受關注。R-Car V3H的基本軟件包可同時執行車輛、人員與車道的識別,以每秒25幀的速度處理圖像數據,實現快速評估和POC開發。以這些功能作為基礎,如果開發人員希望通過添加符號、標記和其它物體作為識別物體來定制軟件,StradVision可為基于深度學習的視覺處理提供支持,面向量產車輛,涵蓋從培訓到軟件嵌入的所有步驟。 (2) R-Car V3H和R-Car V3M SoC在降低成本的同時提升了智能攝像頭系統的可靠性 除了CNN-IP專用深度學習模塊,瑞薩R-Car V3H和R-Car V3M還搭載了IMP-X5圖像識別引擎。將基于深度學習的復雜物體識別與高度可驗證的圖像識別處理同人為規則相結合,使設計人員能夠構建一個強大的系統。此外,方案還設計了片上圖像信號處理器(ISP)對傳感器信號進行轉換,用于圖像渲染和識別處理,從而可以采用無內置ISP的低成本攝像頭進行系統配置,以降低BOM成本。 供貨信息 采用全新聯合開發的深度學習解決方案的瑞薩電子R-Car SoC(包括StradVision的軟件與開發支持),計劃于2020年初向開發人員供貨。 |