一、應(yīng)用場景描述及市場優(yōu)勢 該方案采用NXP的i.MX8MP作為主控平臺(tái),搭配onsemi的AR0144圖像傳感器。系統(tǒng)利用AR0144傳感器采集環(huán)境圖像數(shù)據(jù),隨后通過i.MX8MP處理器進(jìn)行高效的圖像分析和處理。 這個(gè)方案采用的處理器使用了先進(jìn)的14nm LPC FinFET工藝技術(shù),支持高達(dá)4K的視頻解碼能力。它不僅配備有強(qiáng)大的四核Arm Cortex-A53處理器,運(yùn)行速度高達(dá)1.8GHz,還內(nèi)置了一個(gè)高達(dá)2.3 TOPS的神經(jīng)處理單元(NPU)。這使得它能夠處理復(fù)雜的圖像識(shí)別和處理任務(wù),如面部識(shí)別、對(duì)象追蹤等。工程師可以將機(jī)器學(xué)習(xí)的推理處理任務(wù)分配給NPU,這樣一來,高效的Cortex-A和Cortex-M處理器、DSP以及GPU就可以專注于處理其他系統(tǒng)級(jí)任務(wù)或是運(yùn)行用戶的應(yīng)用程序。在視覺處理方面,該系統(tǒng)融合了雙ISP技術(shù),并且支持高動(dòng)態(tài)范圍(HDR)以及魚眼鏡頭的圖像矯正功能。ISP能夠同時(shí)支持兩個(gè)高清攝像頭,實(shí)現(xiàn)實(shí)時(shí)的立體視覺效果,或是支持一個(gè)達(dá)到12M像素的單攝像頭。這些先進(jìn)的特性使得該系統(tǒng)在監(jiān)控、智能零售、機(jī)器人視覺以及家庭健康監(jiān)測設(shè)備等領(lǐng)域的實(shí)時(shí)圖像處理。同時(shí),i.MX 8M Plus還支持多種輸入/輸出接口,包括高速USB、PCIe、以太網(wǎng)和MIPI CSI,后者是連接AR0144圖像傳感器的理想選擇。 我們再看看傳感器 - onsemi AR0144圖像傳感器。AR0144是一款1/4英寸1.0 Mp CMOS數(shù)字圖像傳感器,它采用了一種新的創(chuàng)新全局快門像素設(shè)計(jì),該設(shè)計(jì)經(jīng)過優(yōu)化,可準(zhǔn)確快速地捕捉運(yùn)動(dòng)場景。該傳感器在低光和明亮的場景中都能產(chǎn)生清晰、低噪聲的圖像。它包括復(fù)雜的相機(jī)功能,如自動(dòng)曝光控制、窗口、跳過行模式、跳過列模式、像素合并以及視頻和單幀模式。它可以通過一個(gè)簡單的雙線串行接口進(jìn)行編程。AR0144可生成非常清晰、銳利的數(shù)字圖像,其捕獲連續(xù)視頻和單幀的能力使其成為掃描和工業(yè)檢測等廣泛應(yīng)用的完美選擇。 基于i.MX 8M Plus主控和AR0144傳感器的高性能特性,我們可以開發(fā)Driver Monitoring System (DMS)駕駛員監(jiān)控系統(tǒng),用于疲勞監(jiān)測、分心監(jiān)測、危險(xiǎn)行為監(jiān)測。DMS融合ADAS、艙內(nèi)生活場景,催化出一些列智能化的場景體驗(yàn),迅速拉升用戶體驗(yàn)。 這種技術(shù)平臺(tái)還可以用于發(fā)展智能安全監(jiān)控系統(tǒng)。通過高分辨率的視頻捕捉和高速的圖像處理,可以實(shí)現(xiàn)實(shí)時(shí)的面部識(shí)別和行為分析,從而提高公共安全和個(gè)人財(cái)產(chǎn)的保護(hù)。同樣,該系統(tǒng)也可以被用于智能家居領(lǐng)域,如自動(dòng)化家庭安全監(jiān)控,提供侵入檢測和家庭成員活動(dòng)的實(shí)時(shí)分析。 i.MX 8M Plus和AR0144的強(qiáng)大功能不僅可以提高現(xiàn)有的Driver Monitoring System (DMS)駕駛員監(jiān)控系統(tǒng)效率和質(zhì)量,還可以拓展到更廣泛的智能技術(shù)應(yīng)用領(lǐng)域,為未來的技術(shù)革新奠定堅(jiān)實(shí)的基礎(chǔ)。 場景應(yīng)用圖 1lux 5lux 10lux 30lux 50lux 100lux ►場景應(yīng)用圖►展示板照片 ►方案方塊圖 ►核心技術(shù)優(yōu)勢 基于NXP i.MX 8M Plus處理器與onsemi AR0144圖像傳感器結(jié)合的技術(shù)方案具有以下核心技術(shù)優(yōu)勢: **高性能處理能力**:NXP i.MX 8M Plus 處理器采用四核Arm Cortex-A53架構(gòu),主頻高達(dá)1.8GHz,能夠快速處理復(fù)雜的計(jì)算任務(wù)。此外,內(nèi)置的神經(jīng)處理單元(NPU)達(dá)到2.3 TOPS,專為AI和機(jī)器學(xué)習(xí)任務(wù)設(shè)計(jì),增強(qiáng)了處理器在圖像識(shí)別和分析方面的性能。 **高級(jí)圖像處理功能**:onsemi AR0144圖像傳感器采用全局曝光,具備一百萬像素的分辨率,對(duì)比車內(nèi)抖動(dòng)的環(huán)境中也能捕捉高質(zhì)量圖像。**多功能接口支持**:i.MX 8M Plus 支持多種視頻和數(shù)據(jù)傳輸接口,包括MIPI CSI-2、PCIe、以太網(wǎng)等,提供靈活的外設(shè)連接選項(xiàng)和快速的數(shù)據(jù)傳輸能力,便于與其他系統(tǒng)組件或外部設(shè)備集成。 **擴(kuò)展性和靈活性**:系統(tǒng)設(shè)計(jì)允許用戶根據(jù)需求添加額外的傳感器和外設(shè),支持定制化開發(fā),滿足特定應(yīng)用需求,如增加更多的攝像頭或集成不同的通信模塊。 **強(qiáng)大的圖像和視頻編解碼能力**:i.MX 8M Plus 內(nèi)置高效的視頻處理單元,支持高達(dá)4K視頻解碼,適合需要高分辨率視頻處理的應(yīng)用,如高端安防監(jiān)控、智能家居系統(tǒng)等。這些技術(shù)優(yōu)勢使得該方案在工業(yè)自動(dòng)化、智能交通等多個(gè)領(lǐng)域具有廣泛的應(yīng)用潛力。 ►方案規(guī)格主控(NXP i.MX 8M Plus)的規(guī)格: 1.四核 Arm Cortex-A53 處理器,主頻高達(dá) 1.8GHz。Cortex®-M7, 800 MHz 2.集成的神經(jīng)網(wǎng)絡(luò)處理單元 (NPU),性能達(dá)到 2.3 TOPS 3.集成2×ISP: —375 Mpixel/s HDR ISP supporting configurations, such as 12MP@30fps, 4kp45, or 2x 1080p80 —內(nèi)置 Vivante GC7000UL 3D GPU —支持最高 8GB LPDDR4 內(nèi)存 —支持 MIPI-DSI、MIPI-CSI、HDMI、LVDS 等多種顯示和攝像頭接口 —支持 PCIe、Ethernet、USB、I2C、SPI、UART、GPIO 等豐富的數(shù)據(jù)通信接口 —高效的 H.265/H.264/VP9 視頻解碼能力,支持最高 4K 分辨率 —14nm FinFET 工藝,低功耗設(shè)計(jì) Sensor(onsemi AR0144)的規(guī)格: 1.采用全局曝光,圖像分辨率為 1M像素 2.支持 1280 x 800 分辨率的靜態(tài)圖片拍攝 3.支持最高 60fps 的全分辨率連續(xù)拍攝 4.內(nèi)置Automatic Black Level Calibration (ABLC) 5.采用 1/4英寸光學(xué)格式,像素尺寸為 3.0um6.支持 2-lane MIPI or Parallel Data Interfac |