|
在上篇“端側(cè)AI應(yīng)用興起，安謀周易NPU加速算力升級(jí)”中，我們介紹了芯片IP供應(yīng)商安謀中國的周易NPU，及其在智能汽車領(lǐng)域的應(yīng)用。本篇我們介紹一家中國汽車芯片公司飛凌微，以及他們研發(fā)的幾款A(yù)I智能視覺處理芯片。本篇總結(jié)自飛凌微首席執(zhí)行官邵科先生在E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會(huì)暨百家媒體論壇上的演講，標(biāo)題是“新一代端側(cè)SoC與感知融合方案，助力車載智能視覺升級(jí)“。 思特威是一家國內(nèi)上市公司，專注于圖像傳感器的研發(fā)與銷售。飛凌微是思特威全新子品牌，同時(shí)也是一家全新的子公司，旨在利用思特威在圖像傳感器技術(shù)和市場上的優(yōu)勢，在端側(cè)應(yīng)用上結(jié)合數(shù)字SoC，實(shí)現(xiàn)更好的方案融合。邵科于2016年加入思特威，歷任算法總監(jiān)與資深應(yīng)用總監(jiān)、汽車芯片部副總裁，現(xiàn)任飛凌微首席執(zhí)行官兼思特威副總裁，負(fù)責(zé)公司汽車電子產(chǎn)品規(guī)劃、方案設(shè)計(jì)研發(fā)和市場銷售。 在此次論壇上，邵科主要介紹了端側(cè)AI處理優(yōu)勢及主要應(yīng)用場景，飛凌微現(xiàn)在已經(jīng)發(fā)布的M1智能視覺處理芯片系列，以及M1系列芯片在車載視覺中的應(yīng)用。 一， 端側(cè)AI處理優(yōu)勢及主要應(yīng)用場景 近十幾年，圖像傳感器和AI算法技術(shù)進(jìn)展迅猛。首先，圖像傳感器和攝像頭成就了安防監(jiān)控、手機(jī)照相、家用網(wǎng)絡(luò)攝像頭、掃地器和人臉支付等各種應(yīng)用。然后，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的發(fā)展讓視覺系統(tǒng)更加智能，促進(jìn)了越來越多的智能化應(yīng)用落地。 智能化系統(tǒng)離不開數(shù)據(jù)采集和處理。數(shù)據(jù)的采集和處理有三種方式。一是在端側(cè)采集數(shù)據(jù)，在云端處理。此方式的缺點(diǎn)是實(shí)效性較低。二是在端側(cè)采集數(shù)據(jù)，在本地中央計(jì)算機(jī)處理AI數(shù)據(jù)，此方式目前被普遍采用。三是在端側(cè)采集數(shù)據(jù)，同時(shí)在端側(cè)直接處理。此方式挑戰(zhàn)性較強(qiáng)，但好處也很明顯。首先，因?yàn)槭÷粤舜髷?shù)據(jù)傳輸過程，所以它的延時(shí)較低，同時(shí)可靠性也會(huì)更強(qiáng)。另外，本地?cái)?shù)據(jù)處理能夠保障數(shù)據(jù)安全和個(gè)人隱私，如車內(nèi)人員的圖像信息不會(huì)被泄露。 端側(cè)AI處理的潛在應(yīng)用場景很多，如智能車載設(shè)備、智能家居、物聯(lián)網(wǎng)、機(jī)器視覺等。目前，業(yè)界試圖在端側(cè)完成感知處理，或者與中央計(jì)算機(jī)配合進(jìn)行預(yù)處理，然后將結(jié)果發(fā)送到云端形成更加有效的處理。 二， 飛凌微已發(fā)布的M1智能視覺處理芯片系列 邵科說，基于市場需求及應(yīng)用方案上的思考，飛凌微今年推出了M1系列三款產(chǎn)品。一顆是車載高性能圖像信號(hào)處理器（ISP），兩顆是車載帶有端側(cè)視覺感知預(yù)處理能力的輕量級(jí)SoC。這三顆芯片都具有業(yè)內(nèi)最小的BGA 7mm*7mm封裝。 高性能ISP M1芯片能夠處理一顆800萬像素?cái)z像頭的圖像數(shù)據(jù)，或者同時(shí)處理兩顆300萬像素?cái)z像頭的圖像數(shù)據(jù)。它可用于ADAS、影像處理和電子后視鏡等。ISP是飛凌微多年自研的技術(shù)，具有高動(dòng)態(tài)范圍（HDR）和優(yōu)秀的暗光性能，不懼陽光和車燈照射，可應(yīng)付地下車庫等幽暗環(huán)境。 M1Pro是在高性能ISP之外加入了輕量級(jí)的CPU和NPU的算力，在處理圖像的同時(shí)能夠去實(shí)現(xiàn)一定輕量級(jí)的AI應(yīng)用，如人臉識(shí)別和姿態(tài)識(shí)別等。其中的NPU是飛凌微自研的0.8TOPS算力神經(jīng)網(wǎng)絡(luò)處理器。 M1Max的算力是M1Pro的兩倍，能夠在端側(cè)處理更多的數(shù)據(jù)。M1Pro可以實(shí)現(xiàn)駕駛員監(jiān)測（DMS）功能，或者乘員監(jiān)測（OMS）的功能，而M1Max可以同時(shí)實(shí)現(xiàn)兩種功能。 
三， M1系列芯片在車載視覺中的應(yīng)用 邵科介紹說，M1系列芯片在車載視覺中的應(yīng)用包括DMS、OMS、電子后視鏡和人員/物體檢測等。 目前，L2或L3級(jí)別的輔助駕駛都需要駕駛員能夠在特定情況下接管車輛。駕駛員的狀態(tài)關(guān)乎駕駛安全，所以需要對駕駛員的疲勞狀態(tài)進(jìn)行監(jiān)測。裝配DMS已經(jīng)是歐洲強(qiáng)制性法規(guī)，國內(nèi)法規(guī)預(yù)計(jì)很快跟進(jìn)。飛凌微能夠在端側(cè)實(shí)現(xiàn)該功能，也就是在模組端完成視覺數(shù)據(jù)處理，然后輸出已經(jīng)處理過的有效數(shù)據(jù)。這樣做的一個(gè)好處是，新上市的車輛很容易通過替換原來的模組來集成新的功能。DMS在端側(cè)處理非常簡單，一顆思特威圖像傳感器加上飛凌微的M1Pro就可以實(shí)現(xiàn)大部分的功能。 駕駛艙內(nèi)的另一個(gè)應(yīng)用是OMS。前些年，一些商用和運(yùn)營車輛采用OMS來監(jiān)測乘客狀態(tài)，現(xiàn)在則更多用來拍照或錄制視頻，同時(shí)也可實(shí)現(xiàn)以手勢識(shí)別等感知應(yīng)用。思特威的500萬像素圖像傳感器結(jié)合M1 ISP形成一套模組，可以提供艙內(nèi)娛樂、拍照等等應(yīng)用，同時(shí)也可以輸出IR圖像給后面的算法去做識(shí)別。OMS可檢測是否有兒童遺落在車內(nèi)，很可能成為法規(guī)強(qiáng)制性配置。 電子后視鏡是一種頗具前景的應(yīng)用，它可以克服傳統(tǒng)后視鏡在夜間的顯示缺陷。從去年開始，法規(guī)允許電子后視鏡替代物理后視鏡。圖像傳感器配合高性能ISP能夠?qū)崿F(xiàn)更好的顯示效果。 第四個(gè)應(yīng)用是在后視攝像頭上增加識(shí)別算法，在倒車的時(shí)候能夠檢測人員和物體，從而避免事故的發(fā)生。將圖像傳感器與端側(cè)SoC進(jìn)行組合，在模組端就能實(shí)現(xiàn)一個(gè)非常輕量化的應(yīng)用方案。 邵科最后說，端側(cè)AI不局限于車載，很多其他行業(yè)也會(huì)有非常多的落地的場景，如工業(yè)自動(dòng)化和智能家居。飛凌微在持續(xù)開發(fā)一些新系列的SoC產(chǎn)品，與圖像傳感器實(shí)現(xiàn)更緊密的結(jié)合，使得端側(cè)AI應(yīng)用于我們生產(chǎn)生活的方方面面。 |
