|
在上篇“端側AI應用興起，安謀周易NPU加速算力升級”中，我們介紹了芯片IP供應商安謀中國的周易NPU，及其在智能汽車領域的應用。本篇我們介紹一家中國汽車芯片公司飛凌微，以及他們研發的幾款AI智能視覺處理芯片。本篇總結自飛凌微首席執行官邵科先生在E維智庫第12屆中國硬科技產業鏈創新趨勢峰會暨百家媒體論壇上的演講，標題是“新一代端側SoC與感知融合方案，助力車載智能視覺升級“。 思特威是一家國內上市公司，專注于圖像傳感器的研發與銷售。飛凌微是思特威全新子品牌，同時也是一家全新的子公司，旨在利用思特威在圖像傳感器技術和市場上的優勢，在端側應用上結合數字SoC，實現更好的方案融合。邵科于2016年加入思特威，歷任算法總監與資深應用總監、汽車芯片部副總裁，現任飛凌微首席執行官兼思特威副總裁，負責公司汽車電子產品規劃、方案設計研發和市場銷售。 在此次論壇上，邵科主要介紹了端側AI處理優勢及主要應用場景，飛凌微現在已經發布的M1智能視覺處理芯片系列，以及M1系列芯片在車載視覺中的應用。 一， 端側AI處理優勢及主要應用場景 近十幾年，圖像傳感器和AI算法技術進展迅猛。首先，圖像傳感器和攝像頭成就了安防監控、手機照相、家用網絡攝像頭、掃地器和人臉支付等各種應用。然后，卷積神經網絡（CNN）的發展讓視覺系統更加智能，促進了越來越多的智能化應用落地。 智能化系統離不開數據采集和處理。數據的采集和處理有三種方式。一是在端側采集數據，在云端處理。此方式的缺點是實效性較低。二是在端側采集數據，在本地中央計算機處理AI數據，此方式目前被普遍采用。三是在端側采集數據，同時在端側直接處理。此方式挑戰性較強，但好處也很明顯。首先，因為省略了大數據傳輸過程，所以它的延時較低，同時可靠性也會更強。另外，本地數據處理能夠保障數據安全和個人隱私，如車內人員的圖像信息不會被泄露。 端側AI處理的潛在應用場景很多，如智能車載設備、智能家居、物聯網、機器視覺等。目前，業界試圖在端側完成感知處理，或者與中央計算機配合進行預處理，然后將結果發送到云端形成更加有效的處理。 二， 飛凌微已發布的M1智能視覺處理芯片系列 邵科說，基于市場需求及應用方案上的思考，飛凌微今年推出了M1系列三款產品。一顆是車載高性能圖像信號處理器（ISP），兩顆是車載帶有端側視覺感知預處理能力的輕量級SoC。這三顆芯片都具有業內最小的BGA 7mm*7mm封裝。 高性能ISP M1芯片能夠處理一顆800萬像素攝像頭的圖像數據，或者同時處理兩顆300萬像素攝像頭的圖像數據。它可用于ADAS、影像處理和電子后視鏡等。ISP是飛凌微多年自研的技術，具有高動態范圍（HDR）和優秀的暗光性能，不懼陽光和車燈照射，可應付地下車庫等幽暗環境。 M1Pro是在高性能ISP之外加入了輕量級的CPU和NPU的算力，在處理圖像的同時能夠去實現一定輕量級的AI應用，如人臉識別和姿態識別等。其中的NPU是飛凌微自研的0.8TOPS算力神經網絡處理器。 M1Max的算力是M1Pro的兩倍，能夠在端側處理更多的數據。M1Pro可以實現駕駛員監測（DMS）功能，或者乘員監測（OMS）的功能，而M1Max可以同時實現兩種功能。 
三， M1系列芯片在車載視覺中的應用 邵科介紹說，M1系列芯片在車載視覺中的應用包括DMS、OMS、電子后視鏡和人員/物體檢測等。 目前，L2或L3級別的輔助駕駛都需要駕駛員能夠在特定情況下接管車輛。駕駛員的狀態關乎駕駛安全，所以需要對駕駛員的疲勞狀態進行監測。裝配DMS已經是歐洲強制性法規，國內法規預計很快跟進。飛凌微能夠在端側實現該功能，也就是在模組端完成視覺數據處理，然后輸出已經處理過的有效數據。這樣做的一個好處是，新上市的車輛很容易通過替換原來的模組來集成新的功能。DMS在端側處理非常簡單，一顆思特威圖像傳感器加上飛凌微的M1Pro就可以實現大部分的功能。 駕駛艙內的另一個應用是OMS。前些年，一些商用和運營車輛采用OMS來監測乘客狀態，現在則更多用來拍照或錄制視頻，同時也可實現以手勢識別等感知應用。思特威的500萬像素圖像傳感器結合M1 ISP形成一套模組，可以提供艙內娛樂、拍照等等應用，同時也可以輸出IR圖像給后面的算法去做識別。OMS可檢測是否有兒童遺落在車內，很可能成為法規強制性配置。 電子后視鏡是一種頗具前景的應用，它可以克服傳統后視鏡在夜間的顯示缺陷。從去年開始，法規允許電子后視鏡替代物理后視鏡。圖像傳感器配合高性能ISP能夠實現更好的顯示效果。 第四個應用是在后視攝像頭上增加識別算法，在倒車的時候能夠檢測人員和物體，從而避免事故的發生。將圖像傳感器與端側SoC進行組合，在模組端就能實現一個非常輕量化的應用方案。 邵科最后說，端側AI不局限于車載，很多其他行業也會有非常多的落地的場景，如工業自動化和智能家居。飛凌微在持續開發一些新系列的SoC產品，與圖像傳感器實現更緊密的結合，使得端側AI應用于我們生產生活的方方面面。 |
